CN115422002A - 高斯数据库监控方法及装置 - Google Patents

高斯数据库监控方法及装置 Download PDF

Info

Publication number
CN115422002A
CN115422002A CN202211046198.8A CN202211046198A CN115422002A CN 115422002 A CN115422002 A CN 115422002A CN 202211046198 A CN202211046198 A CN 202211046198A CN 115422002 A CN115422002 A CN 115422002A
Authority
CN
China
Prior art keywords
sql
gaussian
performance index
index data
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211046198.8A
Other languages
English (en)
Inventor
郑頔
谢林洁
陆斌
黄俊文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202211046198.8A priority Critical patent/CN115422002A/zh
Publication of CN115422002A publication Critical patent/CN115422002A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3051Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种高斯数据库监控方法及装置,涉及大数据技术领域,可用于金融领域或其他技术领域,该方法包括:获取高斯数据库的性能指标数据;根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息。本发明能够准确快速的对高斯数据库的问题进行识别并进行预警,并且本发明方法不依赖运维人员的经验积累,实现了高时效低成本的数据库监控。

Description

高斯数据库监控方法及装置
技术领域
本发明涉及大数据技术领域,具体而言,涉及一种高斯数据库监控方法及装置。
背景技术
目前,高斯数据库(Gauss数据库)的监控方案还不够完善。现有运维人员监控或者巡检方案具有较大的滞后性,通常人工干预经常出现在问题产生以后。无法及时发现因业务数据变化、数据库数据量变化和数据分布变化而出现的各种性能容量问题,导致客户在业务使用中出现问题时,才能发现和定位问题,不具有预警性。此外,人工监控数据库和问题定位耗时较长且需要较多的精力,运维成本较高,依仗运维人员的知识储备知经验积累。
如何解决监控运维过度依靠运维人员的知识储备和经验积累的问题,现有技术缺少一种行之有效的方案。
发明内容
本发明为了解决上述背景技术中的至少一个技术问题,提出了一种高斯数据库监控方法及装置。
为了实现上述目的,根据本发明的一个方面,提供了一种高斯数据库监控方法,该方法包括:
获取高斯数据库的性能指标数据;
根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息。
可选的,在所述根据所述性能指标数据采用预设的问题识别模型进行问题识别之前,还包括:
将所述性能指标数据中的非程序用户执行的SQL语句对应的数据记录剔除,然后对所述性能指标数据中的重复的SQL语句对应的数据记录进行去重。
可选的,所述性能指标数据包括:执行计划;
所述根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息,具体包括:
若所述执行计划中出现全表扫描关键字,则生成全表扫描问题预警信息。
可选的,所述性能指标数据包括:SQL扫描行数信息和表总行数信息;
所述根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息,具体包括:
若所述SQL扫描行数信息与所述表总行数信息的比值大于第一预设值,则生成表索引不合理问题预警信息。
可选的,所述高斯数据库为分布式部署,所述性能指标数据包括:数据倾斜率;
所述根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息,具体包括:
若所述数据倾斜率大于第二预设值,则生成数据分布不合理问题预警信息。
可选的,该高斯数据库监控方法,还包括:
根据所述性能指标数据从所述性能指标数据涉及的所有SQL语句中确定出待提示的SQL语句,其中,所述待提示的SQL语句具体包括:执行次数高于预设次数的SQL语句、执行耗时超过预设时间的SQL语句、执行计划中没有索引的SQL语句、CPU使用率高于第一预设百分比的SQL语句以及内存使用率高于第二预设百分比的SQL语句;
根据所述待提示的SQL语句生成风险提示信息。
可选的,该高斯数据库监控方法,还包括:
根据所述性能指标数据确定所述高斯数据库执行的SQL语句,得到第一SQL语句集合;
获取出现生产问题的业务流程中涉及的SQL语句,得到第二SQL语句集合;
确定所述第一SQL语句集合和所述第二SQL语句集合中所有语句内容相同的SQL语句,得到第三SQL语句集合;
根据所述生产问题出现的时间段对所述第三SQL语句集合进行筛选,得到第四SQL语句集合;
根据所述性能指标数据判断所述第四SQL语句集合中的各SQL语句是否有性能问题,以判断所述生产问题是否是由所述高斯数据库的性能问题所导致的。
可选的,该高斯数据库监控方法,还包括:
若所述第四SQL语句集合中的SQL语句有性能问题,则根据该有性能问题的SQL语句对应的执行语句的IP地址和用户,确定性能问题是所述高斯数据运行产生的问题还是人工操作产生的问题;
若所述第四SQL语句集合中的各SQL语句没有性能问题,则根据所述性能指标数据中的IO耗时和网络耗时,确定述生产问题是否是由外部因素所导致的。
为了实现上述目的,根据本发明的另一方面,提供了一种高斯数据库监控装置,该装置包括:
性能指标数据获取单元,用于获取高斯数据库的性能指标数据;
问题预警单元,用于根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息。
为了实现上述目的,根据本发明的另一方面,还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述高斯数据库监控方法的步骤。
为了实现上述目的,根据本发明的另一方面,还提供了一种计算机可读存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现上述高斯数据库监控方法的步骤。
为了实现上述目的,根据本发明的另一方面,还提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述高斯数据库监控方法的步骤。
本发明的有益效果为:
本发明实施例通过获取高斯数据库的性能指标数据,根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息。本发明能够准确快速的对高斯数据库的问题进行识别并进行预警,并且本发明方法不依赖运维人员的经验积累,实现了高时效低成本的数据库监控。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是本发明实施例高斯数据库监控方法的第一流程图;
图2是本发明实施例高斯数据库监控方法的第二流程图;
图3是本发明实施例高斯数据库监控方法的第三流程图;
图4是本发明实施例高斯数据库监控方法的第四流程图;
图5是本发明实施例高斯数据库监控方法整体流程示意图;
图6是本发明实施例高斯数据库监控装置的第一结构框图;
图7是本发明实施例高斯数据库监控装置的第二结构框图;
图8是本发明实施例计算机设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
需要说明的是,本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
需要说明的是,本发明高斯数据库监控方法和装置可用于金融领域,也可用于除金融领域之外的任意领域,本发明高斯数据库监控方法和装置的应用领域不做限定。
针对目前Gauss数据库的监控现状,以及解决监控运维过度依靠运维人员的知识储备和经验积累等问题,本发明提供了一种基于Gauss的数据库集中式监控方案,以降低性能容量监控难度、提高风险问题监控的及时性和可预警性,同时有效降低数据库运维监控的人力成本、问题处理的技术门槛,降本提效。
图1是本发明实施例高斯数据库监控方法的第一流程图,如图1所示,在本发明一个实施例中,本发明的高斯数据库监控方法包括步骤S101和步骤S102。
步骤S101,获取高斯数据库的性能指标数据。
在本发明一个实施例中,本发明可以通过JDBC连接方式间隔一定的时间自动获取多个Gauss数据库的连接,从Gauss数据库的系统视图中采集数据库的性能指标数据,并按照采集到的时间排序并进行持久化存储。
在本发明一个实施例中,所述性能指标数据包含所述高斯数据库执行的每个SQL语句各自对应的数据记录,所述数据记录具体包括:SQL ID、执行内容、执行用户、执行语句的IP地址、执行计划、执行次数、执行耗时、是否为慢SQL、CPU使用率、内存使用率等信息。
在本发明一个实施例中,所述性能指标数据还包括:SQL语句的平均执行时间、死锁、锁等待时间、索引、内存使用topN信息、CPU使用topN信息、IO执行峰值、网络耗时、IO耗时、SQL扫描行数等信息。
步骤S102,根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息。
在本发明一个实施例中,本发明基于采集到的性能指标数据,根据不同的数据类型、结果需求等因素选择不同维度的数据处理模型进行数据分析,得到对应的数据库性能容量指标的分析结果,挖掘存在风险的语句,分析可能出现的性能问题,并进行预警和提醒。
在本发明一个实施例中,在所述根据所述性能指标数据采用预设的问题识别模型进行问题识别之前,还包括:
将所述性能指标数据中的非程序用户执行的SQL语句对应的数据记录剔除,然后对所述性能指标数据中的重复的SQL语句对应的数据记录进行去重。
在本发明一个实施例中,本发明根据执行用户、连接类型以及经验总结提取一批关键字生成匹配规则,通过匹配可以剔除手工执行和自定义场景下采集到的SQL,例如:剔除非程序用户执行的语句,连接类型为非程序使用连接方式的语句等(一般程序连接类型为JDBC Thin Client、python等),实现对数据的筛选。
同时,剔除采集到的数据中SQL内容相同的数据,根据唯一SQL ID和SQL内容进行分类,两者相同的为一组,在组中根据CPU使用率、执行耗时、内存使用率等因素按照重要程度进加权平均对数据进行排序,选择其中性能最差的记录作为该SQL语句的代表,以剔除大量重复SQL语句的数据记录,便于进行后面的模型化分析。
在本发明一个实施例中,所述性能指标数据包括:执行计划;
在本发明一个实施例中,上述步骤S102的根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息,具体包括:
若所述执行计划中出现全表扫描关键字,则生成全表扫描问题预警信息。
在本发明一个实施例中,若某个SQL语句的执行计划中出现了全表扫描(FUllSCAN)关键字,则该SQL语句为全表扫的问题SQL,可以确定为未使用索引或索引设计不当才会导致全表扫。
在本发明一个实施例中,所述性能指标数据包括:SQL扫描行数信息和表总行数信息;
在本发明一个实施例中,上述步骤S102的根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息,具体包括:
若所述SQL扫描行数信息与所述表总行数信息的比值大于第一预设值,则生成表索引不合理问题预警信息。
在本发明一个实施例中,本发明根据采集到的性能指标数据中的SQL扫描行数信息和表总行数信息,取SQL扫描行数与表总行数之比,当两者之比大于第一预设值0.5时则判断表索引设计不合理,需要生成表索引不合理问题预警信息。
在本发明一个实施例中,第一预设值具体可以为0.5。
在本发明一个实施例中,所述高斯数据库为分布式部署,所述性能指标数据包括:数据倾斜率;
在本发明一个实施例中,上述步骤S102的根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息,具体包括:
若所述数据倾斜率大于第二预设值,则生成数据分布不合理问题预警信息。
在本发明一个实施例中,在分布式架构下,本发明可以根据获取到的数据倾斜率判断数据划分的合理性,判断数据增长是否为数据库带来了数据分布不均的问题,在超过一定的倾斜率后,对数据分布的合理性进行预警。
图2是本发明实施例高斯数据库监控方法的第二流程图,如图2所示,在本发明一个实施例中,本发明的高斯数据库监控方法包括步骤S201和步骤S202。
步骤S201,根据所述性能指标数据从所述性能指标数据涉及的所有SQL语句中确定出待提示的SQL语句,其中,所述待提示的SQL语句具体包括:执行次数高于预设次数的SQL语句、执行耗时超过预设时间的SQL语句、执行计划中没有索引的SQL语句、CPU使用率高于第一预设百分比的SQL语句以及内存使用率高于第二预设百分比的SQL语句。
步骤S202,根据所述待提示的SQL语句生成风险提示信息。
在本发明中,待提示的SQL语句并不认为是问题SQL,生产问题未发生,待提示的SQL语句可能有风险和性能欠优,并不一定会导致生产问题,只是用于预警和性能调优的。举例:响应速度较慢可能并不会有生产问题,但是是性能优化点,并且当并发量过大会有产生性能问题的风险。本发明对所述待提示的SQL语句进行提醒并指明存在风险的数据库资源,帮助开发人员聚焦可能存在风险的语句,避免这些语句进一步发展为生产问题,为开发对数据库和业务流程耗时的性能调优提供依据。
图3是本发明实施例高斯数据库监控方法的第三流程图,如图3所示,在本发明一个实施例中,本发明的高斯数据库监控方法包括步骤S301至步骤S305。
步骤S301,根据所述性能指标数据确定所述高斯数据库执行的SQL语句,得到第一SQL语句集合。
步骤S302,获取出现生产问题的业务流程中涉及的SQL语句,得到第二SQL语句集合。
步骤S303,确定所述第一SQL语句集合和所述第二SQL语句集合中所有语句内容相同的SQL语句,得到第三SQL语句集合。
步骤S304,根据所述生产问题出现的时间段对所述第三SQL语句集合进行筛选,得到第四SQL语句集合。
本发明将出现生产问题的业务流程中涉及的SQL语句A集合和生产环境采集到的SQL语句B集合进行比对,得到B中语句内容和A中语句内容相同的多条记录C集合,接着将生产问题出现时间段和C中记录的时间进行比对,获取采集时间在生产问题出现时间段内的SQL语句D集合。
步骤S305,根据所述性能指标数据判断所述第四SQL语句集合中的各SQL语句是否有性能问题,以判断所述生产问题是否是由所述高斯数据库的性能问题所导致的。
本发明根据各项性能指标数据判断D集合中的SQL是否有性能问题,以判断是否是该性能问题导致生产问题的发生。具体的,本发明获取第四SQL语句集合中的每个SQL语句各自对应的数据记录,并根据每个SQL语句各自的数据记录判断每个SQL语句是否有性能问题。
在本发明一个实施例中,若满足以下条件中的至少一个则确定SQL语句有性能问题:SQL语句的执行时间超过预设值;执行SQL语句发生死锁;SQL语句的执行计划中没有索引。
图4是本发明实施例高斯数据库监控方法的第四流程图,如图4所示,在本发明一个实施例中,本发明的高斯数据库监控方法包括步骤S401和步骤S402。
步骤S401,若所述第四SQL语句集合中的SQL语句有性能问题,则根据该有性能问题的SQL语句对应的执行语句的IP地址和用户,确定性能问题是所述高斯数据运行产生的问题还是人工操作产生的问题。
在本发明一个实施例中,本发明可以SQL语句的数据记录中的执行语句的IP和用户,区分是系统运行产生的问题还是人工误操作产生的问题,减少误操作对问题定位的影响。
步骤S402,若所述第四SQL语句集合中的各SQL语句没有性能问题,则根据所述性能指标数据中的IO耗时和网络耗时,确定述生产问题是否是由外部因素所导致的。
在本发明一个实施例中,若所述第四SQL语句集合中的各SQL语句没有性能问题,可根据采集到的IO耗时和网络耗时鉴定是否为磁盘资源、网络状况等外部因素导致的生产问题,减少干扰因素。
图5是本发明实施例高斯数据库监控方法整体流程示意图,如图5所示,本发明接入Gauss数据库,访问不同的系统视图,从不同视图采集性能指标数据,按时间和分类进行存储,同时在存储时梳理部分指标之间的关联关系,持久化存储这些信息。采集到的数据经过筛选剔重模型的处理后分发至其他的模型进行进一步的逻辑处理。大数据量表索引使用分析模型、问题SQL分析预警模型、数据分布监控模型、生产问题因素分析模型将会对筛选后的数据进行处理,挖掘其中的风险和问题SQL并进行提示预警。
由以上实施例可以看出,本发明提供了一种基于Gauss数据库的数据库集中式监控方案,通过访问Gauss数据库的系统视图获取相关的性能信息,对信息筛选后,再通过一系列逻辑处理模型对数据进行处理分析,挖掘提示风险信息,最终实现了对Gauss数据库的集中监控,实现了高时效低成本的数据库监控。
需要说明的是,上述JDBC具体指的是Java数据库连接(Java DatabaseConnectivity,简称JDBC),其为Java语言中用来规范客户端程序如何来访问数据库的应用程序接口,提供了诸如查询和更新数据库中数据的方法。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
基于同一发明构思,本发明实施例还提供了一种高斯数据库监控装置,可以用于实现上述实施例所描述的高斯数据库监控方法,如下面的实施例所述。由于高斯数据库监控装置解决问题的原理与高斯数据库监控方法相似,因此高斯数据库监控装置的实施例可以参见高斯数据库监控方法的实施例,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图6是本发明实施例高斯数据库监控装置的第一结构框图,如图6所示,在本发明一个实施例中,本发明的高斯数据库监控装置包括:
性能指标数据获取单元1,用于获取高斯数据库的性能指标数据;
问题预警单元2,用于根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息。
在本发明一个实施例中,本发明的高斯数据库监控装置,还包括:
数据预处理单元,用于在所述根据所述性能指标数据采用预设的问题识别模型进行问题识别之前,将所述性能指标数据中的非程序用户执行的SQL语句对应的数据记录剔除,然后对所述性能指标数据中的重复的SQL语句对应的数据记录进行去重。
在本发明一个实施例中,所述性能指标数据包括:执行计划;
所述问题预警单元2,具体用于若所述执行计划中出现全表扫描关键字,则生成全表扫描问题预警信息。
在本发明一个实施例中,所述性能指标数据包括:SQL扫描行数信息和表总行数信息;
所述问题预警单元2,具体用于若所述SQL扫描行数信息与所述表总行数信息的比值大于第一预设值,则生成表索引不合理问题预警信息。
在本发明一个实施例中,所述高斯数据库为分布式部署,所述性能指标数据包括:数据倾斜率;
所述问题预警单元2,具体用于若所述数据倾斜率大于第二预设值,则生成数据分布不合理问题预警信息。
图7是本发明实施例高斯数据库监控装置的第二结构框图,如图7所示,在本发明一个实施例中,本发明的高斯数据库监控装置,还包括:
待提示SQL语句确定单元3,用于根据所述性能指标数据从所述性能指标数据涉及的所有SQL语句中确定出待提示的SQL语句,其中,所述待提示的SQL语句具体包括:执行次数高于预设次数的SQL语句、执行耗时超过预设时间的SQL语句、执行计划中没有索引的SQL语句、CPU使用率高于第一预设百分比的SQL语句以及内存使用率高于第二预设百分比的SQL语句;
风险提示信息生成单元4,用于根据所述待提示的SQL语句生成风险提示信息。
在本发明一个实施例中,本发明的高斯数据库监控装置,还包括:
第一SQL语句集合确定单元,用于根据所述性能指标数据确定所述高斯数据库执行的SQL语句,得到第一SQL语句集合;
第二SQL语句集合确定单元,用于获取出现生产问题的业务流程中涉及的SQL语句,得到第二SQL语句集合;
第三SQL语句集合确定单元,用于确定所述第一SQL语句集合和所述第二SQL语句集合中所有语句内容相同的SQL语句,得到第三SQL语句集合;
第四SQL语句集合确定单元,用于根据所述生产问题出现的时间段对所述第三SQL语句集合进行筛选,得到第四SQL语句集合;
第一问题分析单元,用于根据所述性能指标数据判断所述第四SQL语句集合中的各SQL语句是否有性能问题,以判断所述生产问题是否是由所述高斯数据库的性能问题所导致的。
在本发明一个实施例中,本发明的高斯数据库监控装置,还包括:
第二问题分析单元,用于若所述第四SQL语句集合中的SQL语句有性能问题,则根据该有性能问题的SQL语句对应的执行语句的IP地址和用户,确定性能问题是所述高斯数据运行产生的问题还是人工操作产生的问题;
第三问题分析单元,用于若所述第四SQL语句集合中的各SQL语句没有性能问题,则根据所述性能指标数据中的IO耗时和网络耗时,确定述生产问题是否是由外部因素所导致的。
为了实现上述目的,根据本申请的另一方面,还提供了一种计算机设备。如图8所示,该计算机设备包括存储器、处理器、通信接口以及通信总线,在存储器上存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。
处理器可以为中央处理器(Central Processing Unit,CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元,如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及作品数据处理,即实现上述方法实施例中的方法。
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个单元存储在所述存储器中,当被所述处理器执行时,执行上述实施例中的方法。
上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解,此处不再赘述。
为了实现上述目的,根据本申请的另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序在计算机处理器中执行时实现上述高斯数据库监控方法中的步骤。本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(RandomAccessMemory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
为了实现上述目的,根据本申请的另一方面,还提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述高斯数据库监控方法的步骤。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种高斯数据库监控方法,其特征在于,包括:
获取高斯数据库的性能指标数据;
根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息。
2.根据权利要求1所述的高斯数据库监控方法,其特征在于,在所述根据所述性能指标数据采用预设的问题识别模型进行问题识别之前,还包括:
将所述性能指标数据中的非程序用户执行的SQL语句对应的数据记录剔除,然后对所述性能指标数据中的重复的SQL语句对应的数据记录进行去重。
3.根据权利要求1所述的高斯数据库监控方法,其特征在于,所述性能指标数据包括:执行计划;
所述根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息,具体包括:
若所述执行计划中出现全表扫描关键字,则生成全表扫描问题预警信息。
4.根据权利要求1所述的高斯数据库监控方法,其特征在于,所述性能指标数据包括:SQL扫描行数信息和表总行数信息;
所述根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息,具体包括:
若所述SQL扫描行数信息与所述表总行数信息的比值大于第一预设值,则生成表索引不合理问题预警信息。
5.根据权利要求1所述的高斯数据库监控方法,其特征在于,所述高斯数据库为分布式部署,所述性能指标数据包括:数据倾斜率;
所述根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息,具体包括:
若所述数据倾斜率大于第二预设值,则生成数据分布不合理问题预警信息。
6.根据权利要求1所述的高斯数据库监控方法,其特征在于,还包括:
根据所述性能指标数据从所述性能指标数据涉及的所有SQL语句中确定出待提示的SQL语句,其中,所述待提示的SQL语句具体包括:执行次数高于预设次数的SQL语句、执行耗时超过预设时间的SQL语句、执行计划中没有索引的SQL语句、CPU使用率高于第一预设百分比的SQL语句以及内存使用率高于第二预设百分比的SQL语句;
根据所述待提示的SQL语句生成风险提示信息。
7.根据权利要求1所述的高斯数据库监控方法,其特征在于,还包括:
根据所述性能指标数据确定所述高斯数据库执行的SQL语句,得到第一SQL语句集合;
获取出现生产问题的业务流程中涉及的SQL语句,得到第二SQL语句集合;
确定所述第一SQL语句集合和所述第二SQL语句集合中所有语句内容相同的SQL语句,得到第三SQL语句集合;
根据所述生产问题出现的时间段对所述第三SQL语句集合进行筛选,得到第四SQL语句集合;
根据所述性能指标数据判断所述第四SQL语句集合中的各SQL语句是否有性能问题,以判断所述生产问题是否是由所述高斯数据库的性能问题所导致的。
8.根据权利要求7所述的高斯数据库监控方法,其特征在于,还包括:
若所述第四SQL语句集合中的SQL语句有性能问题,则根据该有性能问题的SQL语句对应的执行语句的IP地址和用户,确定性能问题是所述高斯数据运行产生的问题还是人工操作产生的问题;
若所述第四SQL语句集合中的各SQL语句没有性能问题,则根据所述性能指标数据中的IO耗时和网络耗时,确定述生产问题是否是由外部因素所导致的。
9.一种高斯数据库监控装置,其特征在于,包括:
性能指标数据获取单元,用于获取高斯数据库的性能指标数据;
问题预警单元,用于根据所述性能指标数据采用预设的问题识别模型进行问题识别,并根据识别到的问题生成问题预警信息。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8任意一项所述方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至8任意一项所述方法的步骤。
12.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至8任意一项所述方法的步骤。
CN202211046198.8A 2022-08-30 2022-08-30 高斯数据库监控方法及装置 Pending CN115422002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211046198.8A CN115422002A (zh) 2022-08-30 2022-08-30 高斯数据库监控方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211046198.8A CN115422002A (zh) 2022-08-30 2022-08-30 高斯数据库监控方法及装置

Publications (1)

Publication Number Publication Date
CN115422002A true CN115422002A (zh) 2022-12-02

Family

ID=84199673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211046198.8A Pending CN115422002A (zh) 2022-08-30 2022-08-30 高斯数据库监控方法及装置

Country Status (1)

Country Link
CN (1) CN115422002A (zh)

Similar Documents

Publication Publication Date Title
CN110019218B (zh) 数据存储与查询方法及设备
US10621492B2 (en) Multiple record linkage algorithm selector
US8140514B2 (en) Automatic classification of defects
WO2017097231A1 (zh) 话题处理方法及装置
CN110134738B (zh) 分布式存储系统资源预估方法、装置
CN111241059B (zh) 一种基于数据库的数据库优化方法及装置
CN109670091B (zh) 一种基于数据标准的元数据智能维护方法和装置
CN112181704B (zh) 一种大数据任务处理方法、装置、电子设备及存储介质
CN115879017A (zh) 一种电力敏感数据自动化分类分级方法、装置及存储介质
CN111414351A (zh) 一种MySQL数据库的性能诊断方法及装置
CN111680085A (zh) 数据处理任务分析方法、装置、电子设备和可读存储介质
CN107609179B (zh) 一种数据处理方法及设备
CN111124791A (zh) 一种系统测试方法及装置
CN109189343B (zh) 一种元数据落盘方法、装置、设备及计算机可读存储介质
CN111125199A (zh) 一种数据库访问方法、装置及电子设备
CN113297249A (zh) 慢查询语句的识别和分析、查询语句的统计方法及装置
CN113220551A (zh) 指标趋势预测及预警方法、装置、电子设备及存储介质
CN112433888A (zh) 数据处理方法及装置、存储介质和电子设备
CN114896418A (zh) 知识图谱构建方法、装置、电子设备及存储介质
CN110609861A (zh) 车辆识别方法、装置、电子设备及存储介质
CN115422002A (zh) 高斯数据库监控方法及装置
CN114840402A (zh) 一种云主机故障预测方法、装置及介质
CN116069777A (zh) 索引创建方法、装置和计算机可读存储介质
CN112783775A (zh) 特殊字符输入测试方法及装置
CN107025615B (zh) 一种基于学习跟踪模型的学习情况统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination