CN116340388A - 一种基于异常检测的时序数据的压缩存储方法及装置 - Google Patents

Abstract

本发明提出一种基于异常检测的时序数据的压缩存储方法及装置，所述方法采用时间序列的数据压缩方法，对历史数据按照时间的远近而采用不同的策略进行压缩处理，极大的降低了历史数据的存储空间。同时，利用机器学习方法LSTM对时序数据中的异常事件进行检测，并且将检测出来的数据的细节进行保存，在最大限度降低存储空间的同时，保证关键细节不丢失，保真率高。

Description

一种基于异常检测的时序数据的压缩存储方法及装置

技术领域

本发明涉及云计算监控数据存储领域，尤其涉及一种基于异常检测的时序数据的压缩存储方法及装置。

背景技术

近年来，随着云计算的发展，需要监控采集的数据越来越多，时序数据的存储变得越来越重要。按照1次/分钟的频度，每天每个指标将会产生1440条数据，目前每台云主机采集的指标一般超过了100项，每天每台云主机将会采集超过144000条数据，一个中小规模的集群，都会超过100台机器，同时对于监控的数据的存储周期，一般要求保留一年及以上，系统的整体存储数据量将会超过50亿，对系统的存储压力非常大，在如此大的数据量下，数据的检索速度也会非常慢。

解决此问题的方法一般有如下两种方式：

(1)对历史数据按照离目前时间的远近进行不同程度的平滑处理，采用有损压缩的方式，具体的方法如下：最近一天的数据不平滑，还是保留1次/分钟的频度；最近一个星期的数据，存储频度降低到1次/5分钟；最近1月的数据，降低到1次/30f分钟；其他数据，频度降低到1次/60分钟。著名的开源环形数据RRDtool中的处理方式是采用上述方法。

(2)针对时序数据的一些特性，如相邻数据的时间戳差距较小、信息熵相差较小等一些特征，采用计算机编码的方式对数据进行无损压缩存储，整体压缩率不高。如现有技术CN114969060A、CN112419058A所描述的方法。

然而上述方法均存在一定的缺陷，如容易丢失数据细节或数据容量大等，因此亟需一种新的数据压缩存储方法。

发明内容

有鉴于此，本发明提出了一种针对海量时序数据的压缩存储方法，用于弥补上述技术方案的不足之处。针对海量的历史数据，真正有用的是有异常的部分数据，那部分数据通常用于问题追查，事故分析，原因总结等。利用基于机器学习的异常检测的方法，可以找出历史数据中的异常点，对于异常点附近的数据，按照原始精度进行保存；对于其他数据，则可以采取降低精度的方式，来保留历史趋势，从而达到数据压缩存储的目标。

第一方面，本发明提供一种基于异常检测的时序数据的压缩存储方法，其特征在于，所述方法包括以下步骤：

步骤1，按第一预设采样频率采集当天24小时内所有原始数据，构建数据集合并存储于原始时序数据库中；

步骤2，按第二预设采样频率采集从24小时前开始到7*24小时内的数据；

步骤3：按第三预设采样频率采集7*24小时前的数据；

步骤4：按第一预设采样频率采集从24小时前开始到7*24小时内的数据，构建训练数据集及预测数据集，利用LSTM模型查找异常数据点，构建异常数据集；

步骤5：将步骤4中获取的所述异常数据集与基于时间序列进行压缩后获取的数据进行合并，得到数据合集。

第二方面，本发明提供一种基于异常检测的时序数据的压缩存储装置，所述装置包含以下模块：

基于时间序列的数据压缩模块，用于采用平均值的方法，对时序数据进行降频采样，完成时序数据的有损平滑压缩工作；

基于异常检测的事件检测模块，用于采用深度学习的方法检测数据异常点，对异常点的数据进行完整采样。

时序数据合并模块，用于将压缩后的时序数据和异常的点时序数据进行合并，形成完整的压缩时序序列数据。

第三方面，本发明提供一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行程序，所述可执行程序使所述处理器执行所述的基于异常检测的时序数据的压缩存储方法对应的操作。

第四方面，本发明提供一种计算机存储介质，所述存储介质中存储有至少一可执行程序，所述可执行程序使处理器执行所述的基于异常检测的时序数据的压缩存储方法对应的操作。

本发明提出的基于异常检测的时序数据的压缩存储方法，相比现有方法的优势如下：

1、相比无差别平滑压缩方法，能够很好的保留历史数据中异常点附近的数据细节，能够为问题追查提供很好的数据支撑；

2、由于在现实数据中，大部分都是正常数据，异常点的数据非常少，相比根据数据特征进行无损压缩的技术，本方法有较好的压缩率和压缩速度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对本发明或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为当天原始数据示意图；

图2为一周内压缩数据示意图；

图3为一周前压缩数据示意图；

图4为异常数据示意图；

图5为合并数据示意图；

图6为数据压缩存储装置示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括这些要素的商品或者系统中还存在另外的相同要素。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

本发明提供一种基于异常检测的时序数据的压缩存储方法，所述方法包括以下步骤：

步骤1，按第一预设采样频率采集当天24小时内所有原始数据，构建数据集合并存储于原始时序数据库中。

在具体实施中，采集所有当天原始数据，假如按照1次/分钟存储在时序数据库中，所有的细节均保存，每个指标保存1440个点，数据集合为

{(t1,x1),(t2,x2),(t3,x3)...(t1440,x1440)}。当然，采样频率可以随着需求改变。每天采集1440个点，采集的数据都累积在原始时序数据库中，如附图1所示，原始数据细节有很好的保留。

为了实现原始数据随着时间推移，按照不同的压缩比例进行压缩，设计公式如下：

x表示小时，F(x)表示采样压缩频度，有三种采样频率：其中，x表示小时，F(x)表示采样压缩频度，有三种采样频率：所述第一采样频率为1分钟一次，所述第二采样频率为5分钟一次，所述第三采样频率为30分钟一次。

对应的数据压缩公式如下：

即将采样频率内的所有数值相加，然后除以采样频率，得到平均值。

步骤2，按第二预设采样频率采集从24小时前开始到7*24小时内的数据。在具体实施中，从24小时前开始到7*24小时内的数据，开始采用平滑降频压缩，采用1次/5分钟的频率进行存储。根据数据压缩公式，存储的数据采用5分钟之内的平均值:

如附图2所示，细节已经有部分丢失。

步骤3：按第三预设采样频率采集7*24小时前的数据。

在具体实施中，一周之前(7*24小时前)的数据，开始采用更高压缩比的平滑降频压缩，采用1次/30分钟的频率进行存储。根据数据压缩公式，存储的数据采用30分钟之内的平均值:

如附图3所示，细节基本上丢失。

步骤4：按第一预设采样频率采集从24小时前开始到7*24小时内的数据，构建训练数据集及预测数据集，利用LSTM模型查找异常数据点，构建异常数据集。

获取从24小时前开始到7*24小时内的数据，每天1440个数据点，7天共10080个点，数据集{(t₁,x₁),(t₂,x₂),(t₃,x₃)...(t₁₀₀₈₀,x₁₀₀₈₀)}，其中前6天数据作为训练数据集，最后一天数据，即24小时至48小时内数据作为预测数据集，将训练数据集输入到LSTM模型中进行训练，采用LSTM算法对前24小时到前48小时之间的数据进行预测，利用如下公式计算实际值和预测值之间的差值：

R(x)＝|x-lstm(x)|/lstm(x)

若所述差值超过设置的阈值R，即为算法找出异常点，优选地，阈值R默认为10％。获取异常数据集{(t_i,x_i),(t_i+1,x_i+1),(t_i+2,x_i+2)...(t_i+n,x_i+n)}，如附图4所示。

在具体实施中，上面步骤的时间窗口可以按照需求调整，能够达到异常检测的目标即可。

步骤5：将步骤4中获取的所述异常数据集与基于时间序列进行压缩后获取的数据进行合并，得到数据合集。

获取基于时间序列进行压缩的数据，如果是最近一周的数据，采用5分钟频率，获取到数据集{(t₁,x₁),(t₆,x₆),(t₁₁,x₁₁)...(t₁₀₀₈₀,x₁₀₀₈₀)}，如果是一周以前的数据，采用的是30分钟频率，获取到数据集{(t₁,x₁),(t₃₁,x₃₁),(t₆₁,x₆₁)...(t_m,x_m)}，其中m表示时序数据库中最早的一条数据。

将步骤4中的异常数据集{(t_i,x_i),(t_i+1,x_i+1),(t_i+2,x_i+2)...(t_i+n,x_i+n)}和压缩后的数据集进行合并，对于一周内的数据，得到数据集：

S＝{(t₁,x₁),(t₆,x₆)...(t₁₀₀₈₀,x₁₀₀₈₀)}∪{(t_i,x_i),(t_i+1,x_i+1)...(t_i+n,x_i+n)}

＝{(t₁,x₁₎,(t₆,x₆)...(t_i,x_i),(t_i+1,x_i+1)...(t_i+n,x_i+n)...(t₁₀₀₈₀,x₁₀₀₈₀)}

对于一周以前的数据，得到数据集：

S＝{(t₁,x₁),(t₃₁,x₃₁)...(t_m,x_m)}∪{(t_i,x_i),(t_i+1,x_i+1)...(t_i+n,x_i+n)}

＝{(t₁,x₁),(t₃₁,x₃₁)...(t_i,x_i),(t_i+1,x_i+1)...(t_i+n,x_i+n)...(t_m,x_m)}

合并以后最终获得的数据如附图5所示，既完成了数据压缩，同时也保留了数据细节。

本方案采用时间序列的数据压缩方法，对历史数据按照时间的远近而采用不同的策略进行压缩处理，极大的降低了历史数据的存储空间，可以降低到原始数据的1/30的空间，压缩率高。

同时，利用机器学习方法LSTM对时序数据中的异常事件进行检测，并且将检测出来的数据的细节进行保存，在最大限度降低存储空间的同时，保证关键细节不丢失，保真率高。

本发明还提供一种基于异常检测的时序数据的压缩存储装置，如附图6所示，所述装置包含以下模块：

基于时间序列的数据压缩模块，用于采用平均值的方法，对时序数据进行降频采样，完成时序数据的有损平滑压缩工作。

在具体实施中，所述有损平滑压缩，包括，对采集的数据进行压缩，所述压缩公式如下：

其中，S(x)为所要保存的数据，x_i为数据点位i所对应的数据，f为采样频率。

基于异常检测的事件检测模块，用于采用深度学习的方法，检测数据异常点，对异常点的数据进行完整采样。

在具体实施中，所述采用深度学习的方法检测数据异常点，包括构建训练数据集及预测数据集，将训练数据集输入到LSTM模型中进行训练，采用LSTM算法对前24小时到前48小时之间的数据进行预测，计算实际值和预测值之间的差值，若所述差值超过设置的阈值R，即为算法找出异常点。

时序数据合并模块，用于将压缩后的时序数据和异常的点时序数据进行合并，形成完整的压缩时序序列数据。

在具体实施中，获取基于时间序列进行压缩的数据，如果是最近一周的数据，采用5分钟频率，获取到数据集{(t₁,x₁),(t₆,x₆),(t₁₁,x₁₁)...(t₁₀₀₈₀,x₁₀₀₈₀)}，如果是一周以前的数据，采用的是30分钟频率，获取到数据集{(t₁,x₁₎,(t₃₁,x₃₁),(t₆₁,x₆₁)...(t_m,x_m)}，其中m表示时序数据库中最早的一条数据。

将异常数据集{(t_i,x_i),(t_i+1,x_i+1),(t_i+2,x_i+2)...(t_i+n,x_i+n)}和压缩后的数据集进行合并，对于一周内的数据，得到数据集：

S＝{(t₁,x₁₎,(t₆,x₆)...(t₁₀₀₈₀,x₁₀₀₈₀)}∪{(t_i,x_i),(t_i+1,x_i+1)...(t_i+n,x_i+n)}

＝{(t₁,x₁),(t₆,x₆)...(t_i,x_i),(t_i+1,x_i+1)...(t_i+n,x_i+n)...(t₁₀₀₈₀,x₁₀₀₈₀)}

对于一周以前的数据，得到数据集：

S＝{(t₁,x₁),(t₃₁,x₃₁)...(t_m,x_m)}∪{(t_i,x_i),(t_i+1,x_i+1)...(t_i+n,x_i+n)}

＝{(t₁,x₁₎,(t_31,x₃₁)...(t_i,x_i),(t_i+1,x_i+1)...(t_i+n,x_i+n)...(t_m,x_m)}

合并以后最终获得的数据如附图5所示，既完成了数据压缩，同时也保留了数据细节。

可以理解的是，本实施例提供的装置还可以用于实现本发明其他实施例所提供的方法中的各项步骤。

本发明还提供一种计算机设备。计算机设备以通用计算设备的形式表现。计算机设备的组件可以包括但不限于：一个或者多个处理器或者处理单元，系统存储器，连接不同系统组件的总线。

计算机设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器可以包括易失性存储器形式的计算机系统可读介质，存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

处理单元通过运行存储在系统存储器中的程序，从而执行各种功能应用以及数据处理，例如实现本发明其他实施例所提供的方法。

本发明还提供一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明其他实施例所提供的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于异常检测的时序数据的压缩存储方法，其特征在于，所述方法包括以下步骤：

步骤1，按第一预设采样频率采集当天24小时内所有原始数据，构建数据集合并存储于原始时序数据库中；

步骤2，按第二预设采样频率采集从24小时前开始到7*24小时内的数据；

步骤3：按第三预设采样频率采集7*24小时前的数据；

步骤4：按第一预设采样频率采集从24小时前开始到7*24小时内的数据，构建训练数据集及预测数据集，利用LSTM模型查找异常数据点，构建异常数据集；

步骤5：将步骤4中获取的所述异常数据集与基于时间序列进行压缩后获取的数据进行合并，得到数据合集。

2.根据权利要求1所述的方法，其特征在于，所述预设采样频率计算公式为：

其中，x表示小时，F(x)表示采样压缩频度，有三种采样频率：所述第一采样频率为1分钟一次，所述第二采样频率为5分钟一次，所述第三采样频率为30分钟一次。

3.根据权利要求1所述的方法，其特征在于，对所述步骤1-3中采集的数据进行压缩，所述压缩公式如下：

其中，S(x)为所要保存的数据，x_i为数据点位i所对应的数据，f为采样频率。

4.根据权利要求1所述的方法，其特征在于，所述步骤4中，所述构建训练数据集及预测数据集，包括，

获取从24小时前开始到7*24小时内的数据，将48小时前开始到7*24小时内的数据作为训练数据集，将24小时至48小时内数据作为预测数据集。

5.根据权利要求1所述的方法，其特征在于，所述步骤4中，所述利用LSTM模型查找异常数据点，包括，

将训练数据集输入到LSTM模型中进行训练，采用LSTM算法对前24小时到前48小时之间的数据进行预测，计算实际值和预测值之间的差值，若所述差值超过设置的阈值R，即为算法找出异常点。

6.一种基于异常检测的时序数据的压缩存储装置，所述装置包含以下模块：

基于时间序列的数据压缩模块，用于采用平均值的方法，对时序数据进行降频采样，完成时序数据的有损平滑压缩工作；

基于异常检测的事件检测模块，用于采用深度学习的方法检测数据异常点，对异常点的数据进行完整采样。

时序数据合并模块，用于将压缩后的时序数据和异常的点时序数据进行合并，形成完整的压缩时序序列数据。

7.根据权利要求6所述的装置，其特征在于，所述有损平滑压缩，包括，对采集的数据进行压缩，所述压缩公式如下：

其中，S(x)为所要保存的数据，x_i为数据点位i所对应的数据，f为采样频率。

8.根据权利要求6所述的装置，其特征在于，所述采用深度学习的方法检测数据异常点，包括构建训练数据集及预测数据集，将训练数据集输入到LSTM模型中进行训练，采用LSTM算法对前24小时到前48小时之间的数据进行预测，计算实际值和预测值之间的差值，若所述差值超过设置的阈值R，即为算法找出异常点。

9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行程序，所述可执行程序使所述处理器执行如权利要求1-5任一项所述的基于异常检测的时序数据的压缩存储方法对应的操作。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行程序，所述可执行程序使处理器执行如权利要求1-5任一项所述的基于异常检测的时序数据的压缩存储方法对应的操作。

Images