CN112347163B - 高离散度sql动态基线告警方法及系统 - Google Patents

Abstract

本发明提供了一种高离散度SQL动态基线告警方法及系统，包括：从网络数据中获取SQL统计数据；根据SQL统计数据，分指标和维度以时间为基础自变量，通过对历史数据和当前数据进行融合自动分析生成动态基线；在所述动态基线的基础上，通过加入当前计算的动态因子，在允许范围内给定指标与动态基线的偏离值界限，得到动态阈值；根据SQL统计数据、动态基线以及动态阈值，在指定的时间范围中，将该指定的时间范围进行多等分，在每个等分时间内分别计算基线，利用当前时间在基线所对应时间的区间进行告警控制。针对不同维度生成的告警基线更为合理，拟合更加准确。

Description

高离散度SQL动态基线告警方法及系统

技术领域

本发明涉及数据库领域，具体地，涉及一种高离散度SQL动态基线告警方法及系统。

背景技术

SQL数据是主流使用的IT技术，数据库监控是一个拥有巨大市场的领域。基于基线的告警也是其中的一种主流手段。而现有的基线技术具有以下特点：1)基线的生成依赖于连续的高密度数据；2)倾向于分析规律的数据；3)适用于离散度低的维度值；4)基线对象需要事先定义。

而在数据库监控系统中的核心数据SQL具有如下特征：1)个别SQL出现随机不连续；2)SQL语句执行的响应时间不规律；3)SQL语句离散度大；4)SQL语句大数量维度值无法事先确定。因此，数据库SQL语句基线面临的难题主要有：1)无法对SQL语句生成准确合理的告警基线；2)当前市面上的基线算法未结合SQL语句特征处理；3)标准AI基线算法性能无法满足大量动态基线；4)针对SQL语句的基线计算无法自动纳入新增SQL语句。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种高离散度SQL动态基线告警方法及系统。

根据本发明提供的一种高离散度SQL动态基线告警方法，包括：

SQL统计步骤：从网络数据中获取SQL统计数据；

分段SQL基线步骤：根据SQL统计数据，分指标和维度以时间为基础自变量，通过对历史数据和当前数据进行融合自动分析生成动态基线；

动态因子计算步骤：在所述动态基线的基础上，通过加入当前计算的动态因子，在允许范围内给定指标与动态基线的偏离值界限，得到动态阈值；

分段基线告警步骤：根据SQL统计数据、动态基线以及动态阈值，在指定的时间范围中，将该指定的时间范围进行多等分，在每个等分时间内分别计算基线，利用当前时间在基线所对应时间的区间进行告警控制。

优选地，所述SQL统计步骤包括：

SQL数据捕获：对服务器网口上的网络数据流进行采集，得到SQL网络数据包；

SQL解码分析：解码SQL网络数据包，得到SQL消息；

交易关联：针对SQL消息中不同数据库的交易特征，选择匹配的交易关联模型，得到SQL交易关联数据；

信息统计：对SQL交易关联数据进行分指标、分维度、分时间的统计，得到SQL统计数据。

优选地，所述分段SQL基线步骤包括：

针对SQL统计数据的不同维度，分指标、分维度以时间为基础自变量，通过对历史数据和当前数据进行融合自动分析生成动态的指标基线，并根据数据量分布趋势调整权重值，以实现对小交易量交易指标曲线的高度拟合。

优选地，所述动态因子计算步骤包括：

动态影响因子包括当前请求SQL数与总请求数的比例以及当前请求数与基线请求数比例；

在已完成的动态基线基础上，通过加入当前计算的动态因子，在允许范围内给定指标与动态基线的偏离值界限：在使用过程中预定义大、小交易量阀值与告警阈值倍率[a,b,c]，在当前交易量小于小交易量阀值时，自动调整告警阀值为基线值的a倍以上，在当前交易量介于大交易量阀值和小交易量阀值之间时，自动调整告警阀值在基线值b倍以上，在当前交易量大于大交易量阀值时，调整告警阀值在c倍基线以上。

优选地，所述分段基线告警步骤包括：

将一天的24小时均分为N等分的时间区间，把一个时间区间当作一个基本计算单位，利用单位区间的平均值算法计算一个区间内的指标平均值作为起始基线值，然后把当前的时间通过计算定位在某个区间，如果触发了告警则不对区间的基线值进行更新，如果未触发告警则将当前指标值与基线值通过平滑计算公式获取新的基线值，纳入下一次计算。

根据本发明提供的一种高离散度SQL动态基线告警系统，包括：

SQL统计模块：从网络数据中获取SQL统计数据；

分段SQL基线模块：根据SQL统计数据，分指标和维度以时间为基础自变量，通过对历史数据和当前数据进行融合自动分析生成动态基线；

动态因子计算模块：在所述动态基线的基础上，通过加入当前计算的动态因子，在允许范围内给定指标与动态基线的偏离值界限，得到动态阈值；

分段基线告警模块：根据SQL统计数据、动态基线以及动态阈值，在指定的时间范围中，将该指定的时间范围进行多等分，在每个等分时间内分别计算基线，利用当前时间在基线所对应时间的区间进行告警控制。

优选地，所述SQL统计模块包括：

SQL数据捕获：对服务器网口上的网络数据流进行采集，得到SQL网络数据包；

SQL解码分析：解码SQL网络数据包，得到SQL消息；

交易关联：针对SQL消息中不同数据库的交易特征，选择匹配的交易关联模型，得到SQL交易关联数据；

信息统计：对SQL交易关联数据进行分指标、分维度、分时间的统计，得到SQL统计数据。

优选地，所述分段SQL基线步模块括：

针对SQL统计数据的不同维度，分指标、分维度以时间为基础自变量，通过对历史数据和当前数据进行融合自动分析生成动态的指标基线，并根据数据量分布趋势调整权重值，以实现对小交易量交易指标曲线的高度拟合。

优选地，所述动态因子计算模块包括：

动态影响因子包括当前请求SQL数与总请求数的比例以及当前请求数与基线请求数比例；

在已完成的动态基线基础上，通过加入当前计算的动态因子，在允许范围内给定指标与动态基线的偏离值界限：在使用过程中预定义大、小交易量阀值与告警阈值倍率[a,b,c]，在当前交易量小于小交易量阀值时，自动调整告警阀值为基线值的a倍以上，在当前交易量介于大交易量阀值和小交易量阀值之间时，自动调整告警阀值在基线值b倍以上，在当前交易量大于大交易量阀值时，调整告警阀值在c倍基线以上。

优选地，所述分段基线告警模块包括：

将一天的24小时均分为N等分的时间区间，把一个时间区间当作一个基本计算单位，利用单位区间的平均值算法计算一个区间内的指标平均值作为起始基线值，然后把当前的时间通过计算定位在某个区间，如果触发了告警则不对区间的基线值进行更新，如果未触发告警则将当前指标值与基线值通过平滑计算公式获取新的基线值，纳入下一次计算。

与现有技术相比，本发明具有如下的有益效果：

1)针对不同维度生成的告警基线更为合理，拟合更加准确。

2)新增SQL语句场景时，通过预处理可以动态调整告警基线。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的工作流程图；

图2为本发明的SQL统计模块的工作流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

参考图1系统流程图，本方法包括如下步骤：

步骤1：基于网络数据的SQL统计模块，对SQL交易进行关联；

输出为SQL统计数据，包括针对SQL文本、交易成功率、响应时间、响应率等指标以及针对SQL的特征如表名、返回码、SQL类型、SQL交易状态、交易执行时间等的维度划分。

步骤2：分段SQL基线算法模块，贴合SQL交易特征生成基线；

输入为SQL统计数据。

输出为分段SQL基线，针对SQL统计数据的不同维度，分指标，分维度以时间为基础自变量，通过对历史数据和当前数据进行融合自动分析生成动态的指标基线，并根据数据量分布趋势调整权重值，以实现对小交易量交易指标曲线的高度拟合：在使用过程中可以预定义交易量大，小交易量阀值与告警阈值倍率[a,b,c]，在当前交易量小于小交易量阀值时，自动调整告警阀值为基线值的a倍以上，在当前交易量介于大和小交易量阀值之间时，自动调整告警阀值在基线值b倍以上，在当前交易量大于大交易量阀值时，调整告警阀值在c倍基线以上。

步骤3：动态因子计算模块，动态影响因子包括当前请求SQL数与总请求数的比例以及当前请求数与基线请求数比例；

输入为SQL统计数据、分段SQL基线；

输出为动态阈值控制，在已完成的动态基线基础上，通过加入当前计算的动态因子，在允许范围内给定指标与动态基线的偏离值界限；

步骤4：分段基线告警算法，指在一定时间范围中，将时间分割为N等分，在N等份时间内分别计算基线，以适应随着时间变化的而变化的基线，再利用当前时间在基线所在时间的区间进行告警控制：将一天的24小时均分为N等分的时间区间，把一个时间区间当作一个基本计算单位，利用单位区间的平均值算法计算一个区间内的指标平均值作为起始基线值，然后把当前的时间通过计算定位在某个区间，如果触发了告警则不对区间的基线值进行更新，如果未触发告警则将当前指标值与基线值通过平滑计算公式获取新的基线值，纳入下一次计算。

输入为SQL统计数据、分段SQL基线、动态阈值控制。其中阈值控制根据不同的指标、维度以及时间进行动态调整。输出为告警信息。

其中，参考图2基于网络数据的SQL统计模块流程图，步骤1包括如下步骤：

步骤1.1：SQL数据捕获，对服务器网口上的网络数据流进行采集和捕获。一般采用SPAN或者TAP等导出数据，使用网卡抓包方法进行采集，并采用IP和端口过滤出SQL流量。

输出为SQL网络数据包。

步骤1.2：SQL解码分析。采用通用的解码逆向技术，解码SQL数据，并针对数据库引擎的特征，支持包括SQL复用、动态参数后传等特性；

输出为SQL消息，其中包括SQL语句，针对不同语句的来源，记录其基本信息。

步骤1.3：交易关联，针对不同数据库的交易特征，使用适合的交易关联模型；

输出为SQL交易，其中包括SQL文本(通过标准化SQL语句，使用占位符替代变量等方式降低数据离散度)、交易成功率、响应时间、响应率等指标以及如表名、返回码、SQL类型、SQL交易状态、交易执行时间等维度。

步骤1.4：统计信息模块，对SQL交易关联数据进行分指标、分维度、分时间的统计；

输出为SQL统计数据，包括在不同指标、不同维度、不同时间上SQL交易关联数据的分布情况。

因为SQL语句自身维度分布离散度特别大，且出现时间不一致，所以为了保证在计算SQL语句基线上有数倍的性能提升，提出的时间分割想法，避免了传统基线计算复杂且耗时的问题。某头部科技公司，利用8台高性能服务器作为集群进行应用性能监控，在对不同交易的交易时间值进行基线计算时，每分钟只能够计算千条级别的基线。

时间分割基线分段过程中需要将SQL语句出现的时间点根据分段的颗粒度定位在不同的分段内，为了保证在单个区间上数据值的均匀分布,利用了平均值和平滑过度处理对数据进行了二次处理。

时间分割颗粒度是可以根据被计算对象的性质，比如被计算对象出现分布概率进行调整的，但是分割颗粒度越细计算的性能消耗越大，所以在配置分割颗粒度时候要根据计算对象来考虑分割值大小。

基线算法仅仅是基线告警判断的一个参考值，在实际告警过程中，还会加入其它维度的指标作为判断因素，并动态调整基线值。

小交易量的曲线拟合区别在于传统的基线算法，需要大量具有一定规律的数据进行计算，并且需要在一个连续时间段内的分布，所计算的基线才具有参考意义。而本算法对基线的计算可以汇聚不同维度上同一时间点的数据(例如不同日期的)进行计算，避免过拟合。

基于以上方案设计出来的动态基线算法，在服务器(或虚拟机最低配置)，4逻辑核(2GHz以上)，32GB内存，硬盘空间根据需保存数据的时间计算

单操作系统实例的条件下，可实现每分钟计算80000条时分拟合曲线。相比既有方案，性能提升明显。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种高离散度SQL动态基线告警方法，其特征在于，包括：

SQL统计步骤：从网络数据中获取SQL统计数据；

分段SQL基线步骤：根据SQL统计数据，分指标和维度以时间为基础自变量，通过对历史数据和当前数据进行融合自动分析生成动态基线；

动态因子计算步骤：在所述动态基线的基础上，通过加入当前计算的动态因子，在允许范围内给定指标与动态基线的偏离值界限，得到动态阈值；

分段基线告警步骤：根据SQL统计数据、动态基线以及动态阈值，在指定的时间范围中，将该指定的时间范围进行多等分，在每个等分时间内分别计算基线，利用当前时间在基线所对应时间的区间进行告警控制。

2.根据权利要求1所述的高离散度SQL动态基线告警方法，其特征在于，所述SQL统计步骤包括：

SQL数据捕获：对服务器网口上的网络数据流进行采集，得到SQL网络数据包；

SQL解码分析：解码SQL网络数据包，得到SQL消息；

交易关联：针对SQL消息中不同数据库的交易特征，选择匹配的交易关联模型，得到SQL交易关联数据；

信息统计：对SQL交易关联数据进行分指标、分维度、分时间的统计，得到SQL统计数据。

3.根据权利要求1所述的高离散度SQL动态基线告警方法，其特征在于，所述分段SQL基线步骤包括：

针对SQL统计数据的不同维度，分指标、分维度以时间为基础自变量，通过对历史数据和当前数据进行融合自动分析生成动态的指标基线，并根据数据量分布趋势调整权重值，以实现对小交易量交易指标曲线的高度拟合。

4.根据权利要求1所述的高离散度SQL动态基线告警方法，其特征在于，所述动态因子计算步骤包括：

动态影响因子包括当前请求SQL数与总请求数的比例以及当前请求数与基线请求数比例；

在已完成的动态基线基础上，通过加入当前计算的动态因子，在允许范围内给定指标与动态基线的偏离值界限：在使用过程中预定义大、小交易量阀值与告警阈值倍率[a,b,c]，在当前交易量小于小交易量阀值时，自动调整告警阀值为基线值的a倍以上，在当前交易量介于大交易量阀值和小交易量阀值之间时，自动调整告警阀值在基线值b倍以上，在当前交易量大于大交易量阀值时，调整告警阀值在c倍基线以上。

5.根据权利要求1所述的高离散度SQL动态基线告警方法，其特征在于，所述分段基线告警步骤包括：

将一天的24小时均分为N等分的时间区间，把一个时间区间当作一个基本计算单位，利用单位区间的平均值算法计算一个区间内的指标平均值作为起始基线值，然后把当前的时间通过计算定位在某个区间，如果触发了告警则不对区间的基线值进行更新，如果未触发告警则将当前指标值与基线值通过平滑计算公式获取新的基线值，纳入下一次计算。

6.一种高离散度SQL动态基线告警系统，其特征在于，包括：

SQL统计模块：从网络数据中获取SQL统计数据；

分段SQL基线模块：根据SQL统计数据，分指标和维度以时间为基础自变量，通过对历史数据和当前数据进行融合自动分析生成动态基线；

动态因子计算模块：在所述动态基线的基础上，通过加入当前计算的动态因子，在允许范围内给定指标与动态基线的偏离值界限，得到动态阈值；

分段基线告警模块：根据SQL统计数据、动态基线以及动态阈值，在指定的时间范围中，将该指定的时间范围进行多等分，在每个等分时间内分别计算基线，利用当前时间在基线所对应时间的区间进行告警控制。

7.根据权利要求6所述的高离散度SQL动态基线告警系统，其特征在于，所述SQL统计模块包括：

SQL数据捕获：对服务器网口上的网络数据流进行采集，得到SQL网络数据包；

SQL解码分析：解码SQL网络数据包，得到SQL消息；

交易关联：针对SQL消息中不同数据库的交易特征，选择匹配的交易关联模型，得到SQL交易关联数据；

信息统计：对SQL交易关联数据进行分指标、分维度、分时间的统计，得到SQL统计数据。

8.根据权利要求6所述的高离散度SQL动态基线告警系统，其特征在于，所述分段SQL基线步模块括：

针对SQL统计数据的不同维度，分指标、分维度以时间为基础自变量，通过对历史数据和当前数据进行融合自动分析生成动态的指标基线，并根据数据量分布趋势调整权重值，以实现对小交易量交易指标曲线的高度拟合。

9.根据权利要求6所述的高离散度SQL动态基线告警系统，其特征在于，所述动态因子计算模块包括：

动态影响因子包括当前请求SQL数与总请求数的比例以及当前请求数与基线请求数比例；

在已完成的动态基线基础上，通过加入当前计算的动态因子，在允许范围内给定指标与动态基线的偏离值界限：在使用过程中预定义大、小交易量阀值与告警阈值倍率[a,b,c]，在当前交易量小于小交易量阀值时，自动调整告警阀值为基线值的a倍以上，在当前交易量介于大交易量阀值和小交易量阀值之间时，自动调整告警阀值在基线值b倍以上，在当前交易量大于大交易量阀值时，调整告警阀值在c倍基线以上。

10.根据权利要求6所述的高离散度SQL动态基线告警系统，其特征在于，所述分段基线告警模块包括：

将一天的24小时均分为N等分的时间区间，把一个时间区间当作一个基本计算单位，利用单位区间的平均值算法计算一个区间内的指标平均值作为起始基线值，然后把当前的时间通过计算定位在某个区间，如果触发了告警则不对区间的基线值进行更新，如果未触发告警则将当前指标值与基线值通过平滑计算公式获取新的基线值，纳入下一次计算。

Images