CN104965861B - 一种数据访问监控装置 - Google Patents

一种数据访问监控装置 Download PDF

Info

Publication number
CN104965861B
CN104965861B CN201510297070.2A CN201510297070A CN104965861B CN 104965861 B CN104965861 B CN 104965861B CN 201510297070 A CN201510297070 A CN 201510297070A CN 104965861 B CN104965861 B CN 104965861B
Authority
CN
China
Prior art keywords
sql
data
data access
module
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510297070.2A
Other languages
English (en)
Other versions
CN104965861A (zh
Inventor
程永新
宋辉
陈波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai New Torch Network Information Technology Ltd By Share Ltd
Original Assignee
Shanghai New Torch Network Information Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai New Torch Network Information Technology Ltd By Share Ltd filed Critical Shanghai New Torch Network Information Technology Ltd By Share Ltd
Priority to CN201510297070.2A priority Critical patent/CN104965861B/zh
Publication of CN104965861A publication Critical patent/CN104965861A/zh
Application granted granted Critical
Publication of CN104965861B publication Critical patent/CN104965861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/2454—Optimisation of common expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种数据访问监控装置，包括集中配置模块：配置被监控主机列表、采集监控项、采集时间、采集格式以及业务模块与SQL语句的对应关系；统一采集模块：根据集中配置模块的配置信息实时采集相关元数据并发送给质量分析模块进行实时分析；质量分析模块：根据采集到的元数据统计数据库使用访问情况和系统资源消耗情况，并对引起系统资源异常消耗的数据库使用访问进行优化。本发明通过实时采集、监控业务量与主机资源使用情况，准确地结合业务量历史变化趋势估算扩容需求与优化需求，使资源消耗清晰化，扩容与优化需求可预见化，大大降低故障发生率和管理成本，提高系统的稳定性。

Description

一种数据访问监控装置
技术领域
本发明涉及一种数据处理装置，尤其涉及一种数据访问监控装置。
背景技术
现有大中型企业IT系统数据主要存放在数据库中，业务操作过程中产生的数据通过持久化保存在数据库中。数据从来都不可能是原始的，数据总是依照某人的倾向和价值观念而被构建出来，例如配置数据，当系统启动时需要读取配置数据进行初始化，配置数据随着业务系统而被构建，并且成为系统密不可分的一部分。对数据的读取、修改称为数据的访问，而数据访问的方式不同呈现的访问质量也不相同。
数据库中数据访问质量不仅包括数据访问方式，还包括数据访问效率。数据访问方式包括数据访问路径即全表扫描、索引读取等，数据访问方式还包括数据关联即HASHJOIN、NEST LOOP、MERGE JOIN等。数据访问效率指数据访问时长，即从命令发起到结果返回的时间，通过访问方式与访问效率相结合来表示数据访问质量，访问方式越优、访问效率越高数据访问质量也越高，对系统资源消耗越少，应用系统性能也越卓越
现有的方案主要有2种途径：
1、通过对数据库SQL语句进行扫描，根据既定规则进行SQL质量即数据访问质量审核，对SQL进行质量评分。
2、通过监控采集数据库系统的负载指标，通过自动工作负载信息库(AWR)查询历史情况，定期对最耗资源的TOP SQL语句进行分析与质量评分。
现有技术存在以下缺点：
方法一：通过对数据库SQL进行扫描，将业务SQL抽取出来并与规则进行匹配，例如：超过三层嵌套循环、数据表不存在索引、数据量超过2G没有进行分区等规则进行匹配，对SQL进行评分。通过该方法虽然可以在规范纬度对SQL进行综合评分，但是因为没有结合实际情况使得评分有极大的几率失去真实性，而且因为没有结合真实的负载，会导致一些在评分规则内属于合格SQL变成系统的隐患。
方法二：通过自动工作负载信息库(AWR)查询历史情况，再对出现问题的TOP SQL进行优化，虽然可以解决系统的问题，但是因为解决手段在发生问题之后，因此没有办法做到对系统数据访问实现管控的作用。而且等到问题发生之后再介入处理使得运维处于被动的状态，不利于系统稳定运行，甚至出现运维失控，导致系统出现长时间崩溃的情况。
发明内容
本发明所要解决的技术问题是提供一种数据访问监控装置，能够结合业务变化量实时监控基础资源利用率，精确控制系统资源的扩容计划，大大降低故障发生率和管理成本，提高系统的稳定性。
本发明为解决上述技术问题而采用的技术方案是提供一种数据访问监控装置，包括集中配置模块：配置被监控主机列表、采集监控项、采集时间、采集格式以及业务模块与SQL语句的对应关系；统一采集模块：根据集中配置模块的配置信息实时采集相关元数据并发送给质量分析模块进行实时分析；质量分析模块：根据采集到的元数据统计数据库使用访问情况和系统资源消耗情况，并对引起系统资源异常消耗的数据库使用访问进行优化。
上述的数据访问监控装置，其中，还包括：历史数据归档模块：对元数据进行压缩归档，并根据配置的离线时间下线较早部分的元数据；对结果数据归档用作报表展示与历史趋势分析；自定义展示模块，根据选择的时间范围、目标主机信息向历史数据归档模块请求数据，并将从历史数据归档模块返回的数据进行展示与分析。
上述的数据访问监控装置，其中，所述集中配置模块的采集监控项包括主机CPU数量、CPU使用率占比、主机内存总量、主机内存使用率占比以及数据库统计信息，所述质量分析模块根据数据库业务增长趋势估算系统资源扩容计划。
上述的数据访问监控装置，其中，所述数据库统计信息包括数据表空间占用、数据索引空间占用、SQL执行时间、SQL消耗CPU、SQL绑定变量以及SQL逻辑读，所述统一采集模块采集的元数据包括单位时间片内：数据库会话活动消耗总时间、 SQL平均执行时间、SQL平均消耗CPU时间以及SQL逻辑读平均执行时间。
上述的数据访问监控装置，其中，所述质量分析模块通过如下方式估算系统资源扩容计划：计算确定单个业务CPU使用量的占比，单个业务处理SQL占用系统CPU 的总量以及系统CPU资源的使用率后，结合业务变化量绘制CPU使用量与业务增长量的曲线，估算CPU扩容需求；所述质量分析模块计算确定数据库数据缓存区内存的使用率，主机内存资源的使用率，数据库内存资源的使用量以及当前主机内存的使用量后，结合业务变化量绘制内存使用量与业务增长量的曲线，估算内存扩容需求。
上述的数据访问监控装置，其中，所述质量分析模块对引起系统资源异常消耗的数据库使用访问，通过对访问代码质量、数据访问方式与数据访问效率三者分配不同权重并进行综合评分以确定是否需要优化。
上述的数据访问监控装置，其中，所述质量分析模块对访问代码质量的评分过程如下：统计查找引起系统资源异常消耗的数据库访问包含的子查询嵌套、多表关联、多“or”查询、CPU消耗超过预设阀值的函数、无条件查询语句以及长度超过预设阀值的SQL语句，并给出相应分值。
上述的数据访问监控装置，其中，所述质量分析模块对数据访问方式的评分过程如下：统计查找引起系统资源异常消耗的数据库访问包含的全表扫描、SQL平均逻辑读时间、SQL平均CPU消耗以及查询SQL每秒执行次数，并给出相应分值。
上述的数据访问监控装置，其中，所述质量分析模块计算SQL平均执行时间的最优值与当前值的比值作为数据访问效率；所述SQL平均执行时间的最优值的更新计算过程如下；计算单位时间片内SQL平均消耗CPU时间或者SQL逻辑读平均执行时间的最优值与当前值之间的比值；如果比值小于90％或者大于110％时则更新SQL 平均执行时间的最优值。
上述的数据访问监控装置，其中，所述SQL平均执行时间的最优值的更新操作如下：在更新触发时判断24小时前的SQL平均消耗CPU时间、SQL逻辑读平均执行时间与当前值变化量是否超过1％，如果变化量超过1％，则更新推迟，在24小时后不再做是否超过1％的判断，直接将过去24小时内的最低SQL平均执行时间值更新为最优值；如果变化量未超过1％，则将过去24小时内的最低SQL平均执行时间值更新为最优值。
本发明对比现有技术有如下的有益效果：本发明提供的数据访问监控装置，通过实时采集、监控业务量与主机资源使用情况，准确地结合业务量历史变化趋势估算扩容需求与优化需求，使资源消耗清晰化，扩容与优化需求可预见化，大大降低故障发生率和管理成本，提高系统的稳定性。
附图说明
图1为本发明数据访问监控装置架构示意图；
图2为本发明数据访问监控装置处理流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
图1为本发明数据访问监控装置架构示意图。
请参见图1，本发明提供的数据访问监控装置，包括统一采集模块(UAM，UniformAcquisition Module)、集中配置模块(UCM，Unified Configuration Module)、质量分析模块(QAM，Quality Analyze Module)、历史数据归档模块(HDAM，Historical DataArchiving Module)、自定义展示模块(CDM，Customize Display Module)。
各模块主要功能如下：UCM中配置了被监控主机列表、采集项、采集时间与采集格式，当UAM读取到该配置后即根据该策略进行SQL语句、统计信息等元数据采集发送给QAM进行质量分析，QAM根据UCM中定义的ACQ、DAP、DAE指标对所采集的 SQL质量进行评估与结算，将最终结果发送给HDAM保存，HDAM不仅负责管理结果数据还负责元数据的维护，最终用户通过CDM选择时间范围、目标主机等信息向HDAM 请求数据，HDAM将数据返回给CDM进行展示与分析。本发明主要通过质量分析模块实时分析数据库中运行的SQL，结合配置的规则以及当前环境下所采集的系统资源、数据库统计信息、数据库负载等信息分析数据访问方式与访问效率是否为最优，如果不是则生成 数据访问方式或者数据访问效率的优化建议，并进行异常通报，通过该方法减少或避免访问质量引起的问题。本发明还可以根据数据变化趋势对数据访问质量进行预测，提前启动资源扩容或者数据结构的调整，避免因数据访问质量引发的问题。
下面详细介绍各模块的具体功能：
一、统一采集模块(UAM，Uniform Acquisition Module)，UAM主要负责统一的元数据采集实时发送给QAM进行分析，功能如下：
1、根据监控配置自动在被监控主机上安装agent。
2、统一时间、格式对被监控主机资源与数据库统计信息等指标进行采集。
3、通过消息队列方式将采集的信息实时发送质量分析模块。
二、集中配置模块(UCM，Unified Configuration Module)，UCM主要负责配置的集中化管理，用以提供UAM的统一采集及QAM的集中分析，功能如下：
1、被监控主机配置信息的集中管理，例如主机IP地址、主机所在位置，以及环境之间的关系，例如相对应的生产、测试、分布环境。用以监控agent的自动安装与统一采集，以及上线前后数据访问质量的对比。
2、监控项的集中管理，采集的指标如下：
3、采集规则与格式集中管理：统一管理采集的规则与格式，便于QAM进行SQL 质量分析。
4、分析策略集中管理：根据监控主机与指标的不同，可以自定义分析的时间与分析频率。
5、业务类型与数据库SQL的集中管理：通过人工整理的方式管理配置SQL语句与应用模块的关联。
三、质量分析模块(QAM，Quality Analyze Module)，QAM主要负责采集SQL 的质量分析，该模块为本发明中的核心功能，结合UCM中的配置信息实现功能如下：
1、系统全局数据访问质量分析
结合UCM中的配置信息与系统配置、负载、数据库统计信息对范围时间内全量 SQL进行质量分析，一般在低峰期进行，分析完毕后存储到HDAM并在CMD进行报表展示。
2、实时数据访问质量分析
结合UCM中的配置信息与系统配置、负载、数据库统计信息对当前最新生成执行计划的SQL进行实时分析，对存在问题的SQL根据配置进行自动优化或者发出通报，随后存储到HDAM并在CMD进行报表展示。
3、历史数据访问质量趋势分析
对采集的数据量与数据表结构进行分析，随着数据量的变化，对数据访问方式进行分析与优化，实现数据访问质量预警的功能。
4、生产、测试之间质量的对比分析
结合UCM中的环境配置，QAM还可以进行生产与测试环境中数据访问质量的对比分析，对比之间的差异，分析原因。
四、历史数据归档模块(HDAM，Historical Data Archiving Module)，HDAM 主要负责数据的归档与管理，主要有两个功能：
1、源数据归档：源数据归档通过压缩技术实现空间最大利用率，并随着配置离线时间下线较早部分数据。
2、结果数据归档：结果数据归档用作报表展示与历史趋势分析。
五、自定义展示模块(CDM，Customize Display Module)，通过CDM模块，用户可以选择时间、纬度、图标类型进行报表展示。
本发明的具体实现流程与算法如下：
首先UAM(统一采集模块)根据UCM(集中配置模块)中配置信息采集相关指标发送给QAM(质量分析模块)，通过UCM配置的代码质量规则、以及采集的数据统计信息，QAM从访问代码质量、数据访问方式与数据访问效率三个方面进行数据访问质量分析评估。QAM关联UAM配置计算单位时间片内各个指标的数值，如下：
UNIT_DB_TIME:单位时间片内数据库会话活动消耗总时间。
UNIT_SQL_EXEC_AVG_TIME:单位时间片内SQL平均执行时间。
UNIT_SQL_EXEC_AVG_CPU:单位时间片内SQL平均消耗CPU时间。
UNIT_SQL_EXEC_LOGIC_READ:单位时间片内SQL平均逻辑读执行时间。
本发明采用打分制度，总分100分，并根据访问代码质量、数据访问方式与数据访问效率对数据访问质量的影响程度对三者进行权重分配，访问代码质量占60％，数据访问方式占30％，数据访问效率占10％，但数据访问效率为数据访问质量的最终体现，在交易型系统中当SQL的数据访问效率超过最优效率的100％时数据访问质量总分下降为60分，在分析型系统中没有根据数据访问效率对总分作 限制。
1、访问代码质量
访问代码质量(Access Code Qual ity)指标通过ACQI表示是数据访问质量的基础，只有当访问代码质量较高的时候，才会有良好的访问路径与访问效率，访问代码质量占数据访问质量的60％，评判标准如下：
评判规则可以根据用户实际情况进行新增、修改、删除，违反以上规则可以累加计算扣分值，直到ACQI所占分值全部扣完，ACQI最优化为60，最差为0分。
2、数据访问路径
数据访问路径(Data Access Path)指标通过DAPI表示，数据访问路径跟诸多因素有关，例如SQL语句、统计信息、物理模型、数据分布、并行度等等。数据库通过相关的信息生成执行计划，执行计划中包含了数据获取路径，表关联方式，DAPI 结合了各个因素对数据访问路径进行了系统性的评分，评判标准如下：
评判规则可以根据用户实际情况进行新增、修改、删除，违反以上规则可以累加计算扣分值，直到DAPI所占分值全部扣完，DAPI最优为30，最差为0。
3、数据访问效率
数据访问效率(Data Access Efficiency)指标通过DAEI表示，数据访问效率占数据访问质量的10％，但数据访问效率是数据访问质量的本质体现，在访问代码质量与数据访问方式良好的情况下，数据访问效率始终保持良好的水平，数据访问效率降低可能由于系统并发量增加系统资源耗尽导致效率下降，本身逻辑取数较多，也可能因为正常业务下资源不足，因此在数据访问效率超过最优效率的100％时数据访问质量总分下降为60分，但评判标准仍为100分，来进行预警。本发明选用SQL 平均执行时间的最优值与当前值的比值作为数据访问效率DAEI。
DAEI＝UNIT_SQL_EXEC_AVG_TIME(BEST)/UNIT_SQL_EXEC_AVG_TIME (CURRENT)*10；
在UNIT_SQL_EXEC_AVG_TIME(BEST)对应的DAP不变的情况下， UNIT_SQL_EXEC_AVG_TIME(BEST)会随着UNIT_SQL_EXEC_AVG_CPU与 UNIT_SQL_EXEC_LOGIC_READ发生变化，当UNIT_SQL_EXEC_AVG_CPU(BEST)/ UNIT_SQL_EXEC_AVG_CPU(CURRENT)或者UNIT_SQL_EXEC_LOGIC_READ(BEST)/ UNIT_SQL_EXEC_LOGIC_READ(CURRENT)小于90％或者大于110％时触发 UNIT_SQL_EXEC_AVG_TIME(BEST)的更新操作，在更新触发时判断24小时前的UNIT_SQL_EXEC_AVG_CPU、UNIT_SQL_EXEC_LOGIC_READ与当前值变化量是否超过1％，根据结果分为两种类型：
1、超过1％：则更新推迟，在24小时后触发更新并且20小时内不再判断是否更新。在24小时后更新时不再做是否超过1％的判断，直接将过去24小时UNIT_DB_TIME 最低值的单位时间中UNIT_SQL_EXEC_AVG_TIME的值更新为BEST，如果不存在则取 UNIT_DB_TIME次低的值。
2、未超过1％，则将过去24小时UNIT_DB_TIME最低值的单位时间中 UNIT_SQL_EXEC_AVG_TIME的值更新为BEST，如果不存在则取UNIT_DB_TIME次低的值，以此类推。
当DAEI＝>100％时DAE为最优即访问效率为100％，当DAEI<＝50％时DAQI实际总分降低为60分，DAEI最高为10，最低0。
数据访问质量指标通过DAQI表示，DAQI的值为ACQI(访问代码质量指标)、DAPI(数据访问方式指标)、DAEI(数据访问效率指标)三者之和。
当DAEI>50％和DAEI<＝100％时实际总分值为100分时：
DAQI＝ACQI+DAPI+DAEI。
当DAEI>50％和DAEI<＝100％时实际总分值为60分时：
DAQI＝(ACQI+DAPI+DAEI)＊60％。
DAQI代表了数据访问的质量，程序通过记录访问代码质量、数据访问方式、数据访问效率的评判过程，通报DAQI低于80分的SQL，并推送引发数据访问质量下降的条目与相应的优化建议。
现有技术中对SQL语句文本的质量评分存在不足，当前方法只能理论上评估SQL代码，并非SQL真实的质量，而且结果与实际情况误差较大。本发明通过访问代码质量、数据访问方式、数据访问效率三个维度进行数据访问质量的评估，而且分析所使用的数据与配置均是系统中实时采集的数据，并且通过质量权重体系动态调整 ACQI、DAPI、DAEI的比重与基准值。与现有方式相比，本案更高效、准确、真实的反映了数据访问质量，大大提高了数据访问质量的掌控力。
本发明将数据访问质量逻辑拆分为ACQ(访问代码质量)、DAP(数据访问方式)、DAE(数据访问效率)，并且通过ACQI、DAPI、DAEI三个指标进行质量的评级，最后汇总成DAQI(数据访问质量指标)。DAPI为百分制，它代表应用SQL语句的质量，数值越高相对应的数据访问质量也越高，以此达到数据访问质量的管控的目的。采用五层体系(UAM、UCM、QAM、HDAM、CDM)的架构与DAQ、DAQI、ACQ、ACQI、DAP、 DAPI、DAE、DAEI的设计方法。具体优点如下：1、通过分析SQL文本与定义的规则进行对比，将违反开发规范的SQL予以数据访问质量差的评定并进行异常通报，例如多层嵌套查询，多表关联等等。2、结合SQL当前执行的统计信息、相关数据表的结构、数据量、数据的倾斜程度等信息分析SQL当前的数据访问方式是否最优化，如果不是则生成优化建议并进行异常通报。3、结合SQL当前执行的统计信息、系统的CPU、内存配置与消耗、应用的执行频率分析SQL当前的数据访问效率是否最优，如果不是则生成优化建议并进行异常通报。4、通过多维度结合的方式从SQL结构、访问方式、访问效率三个方面对数据访问质量进行评估，将访问质量较差的SQL进行通报、整改与优化以提升系统的数据访问质量与应用系统的性能。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (8)

1.一种数据访问监控装置，其特征在于，包括：
集中配置模块：配置被监控主机列表、采集监控项、采集时间、采集格式以及业务模块与SQL语句的对应关系；
统一采集模块：根据集中配置模块的配置信息实时采集相关元数据并发送给质量分析模块进行实时分析；
质量分析模块：根据采集到的元数据统计数据库使用访问情况和系统资源消耗情况，并对引起系统资源异常消耗的数据库使用访问进行优化；
所述集中配置模块的采集监控项包括主机CPU数量、CPU使用率占比、主机内存总量、主机内存使用率占比以及数据库统计信息，所述质量分析模块根据数据库业务增长趋势估算系统资源扩容计划；
所述质量分析模块通过如下方式估算系统资源扩容计划：计算确定单个业务CPU使用量的占比，单个业务处理SQL占用系统CPU的总量以及系统CPU资源的使用率后，结合业务变化量绘制CPU使用量与业务增长量的曲线，估算CPU扩容需求；所述质量分析模块计算确定数据库数据缓存区内存的使用率，主机内存资源的使用率，数据库内存资源的使用量以及当前主机内存的使用量后，结合业务变化量绘制内存使用量与业务增长量的曲线，估算内存扩容需求。
2.如权利要求1所述的数据访问监控装置，其特征在于，还包括：
历史数据归档模块：对元数据进行压缩归档，并根据配置的离线时间下线较早部分的元数据；对结果数据归档用作报表展示与历史趋势分析；
自定义展示模块，根据选择的时间范围、目标主机信息向历史数据归档模块请求数据，并将从历史数据归档模块返回的数据进行展示与分析。
3.如权利要求1所述的数据访问监控装置，其特征在于，所述数据库统计信息包括数据表空间占用、数据索引空间占用、SQL执行时间、SQL消耗CPU、SQL绑定变量以及SQL逻辑读，所述统一采集模块采集的元数据包括单位时间片内：数据库会话活动消耗总时间、SQL平均执行时间、SQL平均消耗CPU时间以及SQL逻辑读平均执行时间。
4.如权利要求1所述的数据访问监控装置，其特征在于，所述质量分析模块对引起系统资源异常消耗的数据库使用访问，通过对访问代码质量、数据访问方式与数据访问效率三者分配不同权重并进行综合评分以确定是否需要优化。
5.如权利要求4所述的数据访问监控装置，其特征在于，所述质量分析模块对访问代码质量的评分过程如下：统计查找引起系统资源异常消耗的数据库访问包含的子查询嵌套、多表关联、多“or”查询、CPU消耗超过预设阀值的函数、无条件查询语句以及长度超过预设阀值的SQL语句，并给出相应分值。
6.如权利要求4所述的数据访问监控装置，其特征在于，所述质量分析模块对数据访问方式的评分过程如下：统计查找引起系统资源异常消耗的数据库访问包含的全表扫描、SQL平均逻辑读时间、SQL平均CPU消耗以及查询SQL每秒执行次数，并给出相应分值。
7.如权利要求5或6所述的数据访问监控装置，其特征在于，所述质量分析模块计算SQL平均执行时间的最优值与当前值的比值作为数据访问效率；所述SQL平均执行时间的最优值的更新计算过程如下；计算单位时间片内SQL平均消耗CPU时间或者SQL逻辑读平均执行时间的最优值与当前值之间的比值；如果比值小于90％或者大于110％时则更新SQL平均执行时间的最优值。
8.如权利要求7所述的数据访问监控装置，其特征在于，所述SQL平均执行时间的最优值的更新操作如下：在更新触发时判断24小时前的SQL平均消耗CPU时间、SQL逻辑读平均执行时间与当前值变化量是否超过1％，如果变化量超过1％，则更新推迟，在24小时后不再做是否超过1％的判断，直接将过去24小时内的最低SQL平均执行时间值更新为最优值；如果变化量未超过1％，则将过去24小时内的最低SQL平均执行时间值更新为最优值。
CN201510297070.2A 2015-06-03 2015-06-03 一种数据访问监控装置 Active CN104965861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510297070.2A CN104965861B (zh) 2015-06-03 2015-06-03 一种数据访问监控装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510297070.2A CN104965861B (zh) 2015-06-03 2015-06-03 一种数据访问监控装置

Publications (2)

Publication Number Publication Date
CN104965861A CN104965861A (zh) 2015-10-07
CN104965861B true CN104965861B (zh) 2018-06-22

Family

ID=54219897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510297070.2A Active CN104965861B (zh) 2015-06-03 2015-06-03 一种数据访问监控装置

Country Status (1)

Country Link
CN (1) CN104965861B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183614A (zh) * 2015-11-03 2015-12-23 华夏银行股份有限公司 一种数据库故障预测方法及装置
CN105550284B (zh) * 2015-12-10 2020-03-27 北京京东尚科信息技术有限公司 在Presto计算节点混合使用内存和临时表空间的方法和装置
CN106980637B (zh) 2016-09-28 2019-06-07 平安科技（深圳）有限公司 Sql审核方法和装置
CN106657409A (zh) * 2017-02-27 2017-05-10 郑州云海信息技术有限公司 一种云环境下监控项的信息获取方法及装置
CN106997316B (zh) * 2017-04-11 2020-02-21 上海联彤网络通讯技术有限公司 内存异常增长的检测系统及方法
CN110019192B (zh) * 2017-09-21 2023-10-31 阿里云计算有限公司 数据库的检索方法及装置
CN109376139A (zh) * 2018-08-15 2019-02-22 中国平安人寿保险股份有限公司 数据库集中监控方法、计算机装置及存储介质
CN109257758B (zh) * 2018-10-19 2021-12-07 中国联合网络通信集团有限公司 一种网络扩容方法及装置
CN111639113A (zh) * 2019-03-01 2020-09-08 千寻位置网络有限公司 收集MySQL数据库执行的SQL数据的系统及其方法
CN110287102A (zh) * 2019-05-22 2019-09-27 深圳壹账通智能科技有限公司 核心数据检测处理方法、装置、计算机设备及存储介质
CN110389876B (zh) * 2019-06-18 2022-07-19 平安科技（深圳）有限公司 基础资源容量监管方法、装置、设备及存储介质
CN111078493B (zh) * 2019-11-25 2023-06-23 北京天元创新科技有限公司 一种数据库监视系统
CN110968652B (zh) * 2019-12-05 2020-07-17 南京甄视智能科技有限公司 基于关系型数据库索引的自动运维系统和方法
CN112231356A (zh) * 2020-10-20 2021-01-15 中国建设银行股份有限公司 数据处理的方法及装置、电子设备及计算机可读存储介质
CN112347120B (zh) * 2020-10-27 2022-04-01 蜂助手股份有限公司 一种基于复杂sql的自动优化方法和装置
CN113177060B (zh) * 2021-05-25 2024-02-27 中国工商银行股份有限公司 一种管理sql语句的方法、装置及设备
CN116661685A (zh) * 2023-05-18 2023-08-29 清华大学 业务行为感知的对象存储元数据分级存储方法与系统
CN117743310A (zh) * 2023-12-19 2024-03-22 云宝宝大数据产业发展有限责任公司 一种全周期数据治理方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059810A (zh) * 2007-03-16 2007-10-24 华为技术有限公司 一种实现数据库系统自动优化的系统和方法
CN103186603A (zh) * 2011-12-29 2013-07-03 中国移动通信集团浙江有限公司 确定sql语句对关键业务的性能的影响的方法、系统和设备
CN103412911A (zh) * 2013-08-02 2013-11-27 中国工商银行股份有限公司 数据库系统的性能监控方法以及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059810A (zh) * 2007-03-16 2007-10-24 华为技术有限公司 一种实现数据库系统自动优化的系统和方法
CN103186603A (zh) * 2011-12-29 2013-07-03 中国移动通信集团浙江有限公司 确定sql语句对关键业务的性能的影响的方法、系统和设备
CN103412911A (zh) * 2013-08-02 2013-11-27 中国工商银行股份有限公司 数据库系统的性能监控方法以及装置

Also Published As

Publication number Publication date
CN104965861A (zh) 2015-10-07

Similar Documents

Publication Publication Date Title
CN104965861B (zh) 一种数据访问监控装置
CN104820630B (zh) 基于业务变化量的系统资源监控装置
US10977248B2 (en) Processing records in dynamic ranges
US8082273B2 (en) Dynamic control and regulation of critical database resources using a virtual memory table interface
US9934261B2 (en) Progress analyzer for database queries
CN108388503A (zh) 数据库性能监控方法、系统、设备及计算机可读存储介质
CA2605974A1 (en) Automated reporting of computer system metrics
CN110189232A (zh) 基于孤立森林算法的用电信息采集数据异常分析方法
CN104407926B (zh) 一种云计算资源的调度方法
CN109254901B (zh) 一种指标监测方法及系统
CN108470228A (zh) 财务数据稽核方法及稽核系统
CN110032591A (zh) 一种资产大数据智能分析方法
US20140114909A1 (en) Systems and Methods for Providing Performance Metadata in Interest-Driven Business Intelligence Systems
CN102081622A (zh) 评估系统健康度的方法及系统健康度评估装置
CN110503570A (zh) 一种异常用电数据检测方法、系统、设备、存储介质
CN111241129B (zh) 一种工业生产企业指标数据采集与计算的系统
CN110417610A (zh) 存储系统延迟孤立点检测
CN107783985A (zh) 一种分布式数据库查询方法、装置及管理系统
CN104504103A (zh) 一种车辆轨迹点插入性能优化方法及系统、信息采集器、数据库模型
CN106649687A (zh) 大数据联机分析处理方法及装置
CN106339331A (zh) 一种基于用户活跃度的数据缓存层置换算法
CN109154933B (zh) 分布式数据库系统以及分布和访问数据的方法
CN105872061A (zh) 一种服务器集群管理方法、装置及系统
CN111737325A (zh) 一种基于大数据技术的电力数据分析方法和装置
CN107133367A (zh) 一种信息处理方法及系统、服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Qingpu 201707 waiqingsong road Shanghai City, No. 588 Lane 7548 Building 1 R zone 1 room 113

Applicant after: Shanghai new torch network information technology Limited by Share Ltd

Address before: 200063 Shanghai, Zhongshan North Road, No. 2000, building, building No. 3, B

Applicant before: SHANGHAI XINJU NETWORK INFORMATION TECHNOLOGY CO., LTD.

GR01 Patent grant
GR01 Patent grant