CN116431369A - 一种基于动态场景的数据库运维异常检测方法 - Google Patents

Abstract

本发明提出一种基于动态场景的数据库运维异常检测方法，该方法包括以下步骤：1.周期检测；2.周期场景划分；3.异常检测。采用该方法后，能够自动分辨时序数据的周期性，并据此判断指标的异常情况，有助于提升运维工作的自动化水平。

Description

一种基于动态场景的数据库运维异常检测方法

技术领域

本发明属于数据库运维异常检测领域，具体地涉及一种基于动态场景的数据库运维异常检测方法。

背景技术

Internet技术的快速发展和广泛应用，促使各行业的数据量呈现指数级的增长趋势。在金融、电信等领域中，不但数据量大，而且重要性非常高。所幸的是，与Internet数据不同，金融、电信等领域的数据多呈结构化分布，这一点为选择数据库作为存储载体提供了条件。所以，时至今日，数据库仍在这些领域中发挥举足轻重的作用。

正因为如此，数据库的健康状态直接关乎数据的安全，其重要性不言而喻。因此，需要实时监控数据库的各项性能指标，并能够在数据库状态出现异常时能够及时发出告警。传统的运维方式完全依赖于人工，但是当前的数据规模影响下，人工方式已越来越难以满足运维的要求。这其中重要的一点是实时性，运维人员难以提供7×24小时的服务，此外，当有异常发生时，运维人员也难以及时发现。

因此，目前的运维工作越来越依赖于信息系统，即开发出满足运维要求的信息系统，不断地监测受控数据库的健康指标，便于运维人员查看。不过，这仅仅是自动化运维系统的第一步。

每种数据库存在很多的性能指标，每种指标采集以后均可得到一列时序数据。对于普通的性能指标而言，变化趋势通常较为平稳，一旦这些指标值有突然的升降变化，可能就代表数据库发生了一些异常；但是也有一部分性能指标，在不同的时间段里，取值可能处在不同的取值范围内。对这类指标而言，一旦这些指标值有突然的升降变化，并不能立刻就确定是出现了异常，因为还有可能是从一个时间段过渡到另一个时间段的正常变化，这就为异常检测带来了挑战。

每个指标采集过来的原始时间序列数据，可能存在一些周期性规律，如数据库连接数，在白天工作时段里，因为使用人数较多，连接数就较多；在晚上非工作时段里，使用人数较少，相应地，连接数也较少；因此，连接数就呈现出一定的规律性变化。

如果能够自动且精准地识别出每个指标中存在的周期，那么就能采取相应的措施更准确高效地对这些指标进行异常检测，及时发现偏离周期性的异常点。由傅里叶变换可知，任何时序信号都可以看作是由一个或多个具有适当频率、振幅和相位的正弦波叠加。因此，通过傅里叶变换将时域信号变换为相应的频域信号，就可以得到信号在各频率上的幅度。

附图说明

图1为某数据库一段时间内数据库连接数时间序列数据。

图2为图1中数据经过傅里叶变换后得到的幅度谱。

图3为图1中数据库连接数数据曲线拟合并求取一阶导数后得到的曲线。

发明内容

为解决现有技术中存在的上述问题，本发明提出一种基于动态场景的数据库运维异常检测方法，该方法包括以下步骤：

1.周期检测

假设数据库连接数指标的时序监控数据为x₁,x₂,…,x_n，其中，n表示指标个数，x_i表示某一次采集到的数据库连接数指标，i为自然数，且1≤i≤n；设置该指标每天采集m次，m<n；上述时序监控数据经傅里叶变换得到一条连续曲线，此时，计算波峰数目k，

1)若k<3，根据第1个波峰所在的频率计算周期τ；

2)若k≥3，记k个波峰对应的幅度值分别为r₁,r₂,…,r_k，通过3-Sigma算法计算r₁,r₂,…,r_k中是否存在异常值，若存在异常值，则表明存在周期性，且根据第1个波峰所在频率计算周期τ；若不存在异常值，说明不存在明显的周期性。

2.周期场景划分

如果时序数据存在周期性，根据时序数据的原始分布进行拟合，并对拟合后的表达式计算一阶导数，画出一阶导数曲线。曲线两个相邻波峰之间的对应时段表示一个完整的数据周期；在两个相邻波峰之间，从一个波峰到下一个波谷之间，或从一个波谷到下一个波峰之间对应的时段，表示了不同的应用场景。

3.异常检测

若最终判断结果是不存在周期性，说明该指标平稳；如果指标中出现异常值，采用3-Sigma算法进行判断异常即可。

采用该方法后，能够自动分辨时序数据的周期性，并据此判断指标的异常情况，有助于提升运维工作的自动化水平。

具体实施方式

本发明提出一种基于动态场景的数据库运维异常检测方法，主要步骤包括：

1.周期检测

假设数据库连接数指标的时序监控数据为x₁,x₂,…,x_n，其中，n表示指标个数，x_i表示某一次采集到的数据库连接数指标，i为自然数，且1≤i≤n。假设该指标每天采集m次，为保证计算的准确率，通常应满足m<n，建议7m<n，即在满足效率要求的前提下，用于分析的指标数据采集的时长应大于1周，容易形成对数据规律的准确描述。

上述时序监控数据经傅里叶变换得到的幅度谱是一条连续的曲线，此时，计算波峰的数目k：

1)若k<3，直接根据第1个波峰所在的频率计算周期τ；

2)若k≥3，记k个波峰对应的幅度值分别为r₁,r₂,…,r_k，通过3-Sigma算法计算r₁,r₂,…,r_k中是否存在异常值，若存在异常值，则表明存在周期性，且根据第1个波峰所在的频率计算周期τ；若不存在异常值，则说明不存在明显的周期性。

如某数据库一段时间内数据库连接数分别为：495,500,505,509,478,10,10,9,10,10,499,503,505,506,510,12,10,9,10,11,500,501,497,495,480,18,12,10,10,13，每天对该指标采样10次。这一列时间序列数据如图1所示。

经过傅里叶变换后，可得到幅度谱，如图2所示。从图2可知，波峰数目k＝2，直接根据第1个波峰所在的频率计算周期，计算数据的频率值为1，对应的周期为1天。

2.周期场景划分

如果时序数据存在周期性，则根据时序数据的原始分布进行拟合，并对拟合后的表达式计算一阶导数，画出一阶导数曲线。曲线两个相邻波峰之间的对应的时段表示一个完整的数据周期；在两个相邻的波峰之间，从一个波峰到下一个波谷之间，或者从一个波谷到下一个波峰之间对应的时段，表示了不同的应用场景。

图1所示的数据库连接数数据，曲线拟合并求取一阶导数后，得到如图3所示的曲线图。图3中，存在两个波峰，那么两个波峰之间对应的时间段，即从第1.0天到2.0天表示一个完整的数据周期，且周期的长度与步骤1中计算的长度一致。当数据分布较为复杂时，需要利用步骤1中计算的周期长度筛选出两个准确的波峰。另外，两个波峰之间，在1.5天处存在一个波谷，说明从第1.0天到第1.5天表示一种场景，记为场景1；从第1.5天到第2.0天表示另一种场景，记为场景2。从图1所示的原始数据不难看出，从第1.0天到第1.5天，数据库连接数较高，说明场景1对应了白天工作时间段内用户较多的场景；从第1.5天到第2.0天，数据库连接数较低，说明场景2对应了晚上非工作时间段内用户较少的场景。场景1的数据，相对于场景2而言，初判均为异常数据，但考虑到不同的场景时，明显又是正常的数据；反之亦然。可见，在异常检测过程中划分不同的场景是十分必要的。

3.异常检测

若最终判断结果是不存在周期性，说明该指标值通常是比较平稳的。如果该指标中有异常值出现，直接使用3-Sigma算法进行判断异常。

若最终判断结果存在周期性，则说明该指标值随着时间推移会重复出现。此时，根据步骤1计算周期，并根据步骤2划分不同的场景。根据不同的场景，并结合当前的时间，可以判断当前的新数据是否在正常的范围内。

Claims (1)

1.一种基于动态场景的数据库运维异常检测方法，其特征在于，该方法包括以下步骤：

(1)周期检测

假设数据库连接数指标的时序监控数据为x₁,x₂,…,x_n，其中，n表示指标个数，x_i表示某一次采集到的数据库连接数指标，i为自然数，且1≤i≤n；设置该指标每天采集m次，m<n；上述时序监控数据经傅里叶变换得到一条连续曲线，此时，计算波峰数目k，

1)若k<3，根据第1个波峰所在的频率计算周期τ；

2)若k≥3，记k个波峰对应的幅度值分别为r₁,r₂,…,r_k，通过3-Sigma算法计算r₁,r₂,…,r_k中是否存在异常值，若存在异常值，则表明存在周期性，且根据第1个波峰所在频率计算周期τ；若不存在异常值，说明不存在明显的周期性。

(2)周期场景划分

如果时序数据存在周期性，根据时序数据的原始分布进行拟合，并对拟合后的表达式计算一阶导数，画出一阶导数曲线。曲线两个相邻波峰之间的对应时段表示一个完整的数据周期；在两个相邻波峰之间，从一个波峰到下一个波谷之间，或从一个波谷到下一个波峰之间对应的时段，表示了不同的应用场景。

(3)异常检测

若最终判断结果是不存在周期性，说明该指标平稳；如果指标中出现异常值，采用3-Sigma算法进行判断异常即可。

Images