CN115758273A - 一种时序数据异常检测方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种时序数据异常检测方法、装置、设备及介质，涉及人工智能技术领域。该方法包括：获取目标时序数据并对目标时序数据进行预处理以得到预处理后的目标时序数据；将预处理后的目标时序数据输入至训练后的嵌入网络中进行时间方向与信号方向的双视角数据嵌入以得到时间视角嵌入特征与信号视角嵌入特征，将时间视角嵌入特征与信号视角嵌入特征进行融合以得到目标数据嵌入特征；将目标数据嵌入特征输入至训练后的信号分解Transformer网络中以得到目标时序数据对应的目标特征表示；根据目标特征表示确定目标预测误差、目标重建误差与目标分布距离，并根据目标预测误差、目标重建误差与目标分布距离对目标时序数据进行异常判定。

Description

一种时序数据异常检测方法、装置、设备及介质

技术领域

本发明涉及人工智能技术领域，特别涉及一种时序数据异常检测方法、装置、设备及介质。

背景技术

时序数据异常检测(即Anomaly detection)是目前时序数据分析最成熟的应用之一，是从正常的时间序列中识别不正常的事件或行为的过程。有效的异常检测被广泛用于现实世界的很多领域，例如量化交易，网络安全检测、自动驾驶汽车和大型工业设备的日常维护。一般而言，很多异常可以通过人工的方式来判断。然而当业务组合复杂、时序规模变大后，依靠传统的人工和简单的同比环比等绝对值算法来判断就显得捉襟见肘了。因此，在面对各种各样的工业级场景时，基于机器学习的自动化时间序列异常检测方法尤为重要。基于传统机器学习的方法，统计模型、多元正态分布模型、独立森林等方法能够在一定程度上检测出明显的异常点，但对数据噪声敏感，并且仅针对每个时序数据进行独立建模，很难解决多维时序数据中的相互关联产生的异常。而实际场景中的时序数据存在噪声大、波动大、受环境影响大等特点，传统机器学习方法很难满足复杂场景需求。

近年来，基于深度学习的方法逐步运用于时序数据异常检测。常用方法是基于循环神经网络的序列编码，然后结合基于预测、重建或数据分布距离等方法来定位异常点。基于循环神经网络和序列重建的方法是采用了循环神经网络中的一种LSTM作为特征的编码和解码，同时，采用了变分自编码器(即VAE)作为特征编码和解码的架构。该方法是一种基于循环神经网络方法，并且采用了重建误差作为异常的度量。主要推理过程是：首先进行数据预处理，将图像输入到训练好的编码器网络(即Encoder)进行特征提取和编码，然后将编码的特征输入到解码器(即Decoder)进行解码，重建某个时刻的信号，最后通过阈值判断的方式判定是否是异常点。然而，一方面采用循环神经网络进行编码和解码，由于循环神经网络只能顺序计算，无法并行，因此训练和推理速度慢，训练慢导致训练时间和算力成本增加，而推理速度慢则影响在线检测的时效性；另一方面，由于异常的产生具有不确定性，并且异常的类型较多，比如单点异常、上下文关联异常、周期变化异常、趋势变化异常等。不同的异常类型对于特征的要求和异常定义的要求不同，而该方法没有对信号间的关联关系进行建模，同时只采用了单一的重建误差，因此，很难同时使用所有异常类型，模型适应能力和泛化能力较差。基于卷积神经网络(即CNN)和注意力网络(即Attention Net)的方法具备并行计算的优势，通过特点的优化和改进，也能够用于解决时序数据异常检测问题。这些方法虽然能够在一定程度上解决时序数据异常检测问题，但仍有改进空间。综上，如何能够在进行时序数据异常检测时提升准确度与训练推理速度并提升模型的泛化能力的问题有待进一步解决。

发明内容

有鉴于此，本发明的目的在于提供一种时序数据异常检测方法、装置、设备及介质，能够在进行时序数据异常检测时提升准确度与训练推理速度并提升模型的泛化能力。其具体方案如下：

第一方面，本申请公开了一种时序数据异常检测方法，包括：

获取目标时序数据并对所述目标时序数据进行预处理，以得到预处理后的目标时序数据；

将所述预处理后的目标时序数据输入至训练后的嵌入网络中进行时间方向与信号方向的双视角数据嵌入，以得到时间视角嵌入特征与信号视角嵌入特征，然后将所述时间视角嵌入特征与信号视角嵌入特征进行融合以得到目标数据嵌入特征；

将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中以得到所述目标时序数据对应的目标特征表示；

根据所述目标特征表示确定目标预测误差、目标重建误差与目标分布距离，并根据所述目标预测误差、所述目标重建误差与所述目标分布距离对所述目标时序数据进行异常判定。

可选的，所述获取目标时序数据并对所述目标时序数据进行预处理，以得到预处理后的目标时序数据，包括：

获取目标时序数据并对所述目标时序数据进行归一化，以得到归一化后的目标时序数据；

将所述归一化后的目标时序数据在时间方向进行一维卷积操作，以得到预处理后的目标时序数据。

可选的，所述将所述预处理后的目标时序数据输入至训练后的嵌入网络中进行时间方向与信号方向的双视角数据嵌入，以得到时间视角嵌入特征与信号视角嵌入特征，包括：

将所述预处理后的目标时序数据输入至训练后的嵌入网络中，针对所述目标时序数据的时间窗口中的每个信号进行扩张因果卷积操作，以得到时间视角嵌入特征；

针对所述目标时序数据的时间窗口中的每个时间点对所有信号在所述时间点的值进行扩张因果卷积操作，以得到信号视角嵌入特征。

可选的，所述将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中以得到所述目标时序数据对应的目标特征表示，包括：

将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中以得到目标周期分量特征、目标趋势分量特征与目标剩余分量特征，并将所述目标周期分量特征、所述目标趋势分量特征与所述目标剩余分量特征相加以得到所述目标时序数据对应的目标特征表示。

可选的，所述将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中以得到目标周期分量特征、目标趋势分量特征与目标剩余分量特征，包括：

将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中并通过所述信号分解Transformer网络中的预设数量的分解层中的频域注意力模块得到周期分量特征；

在所述目标数据嵌入特征中去除所述周期分量特征以得到第一剩余分量特征，并将所述第一剩余分量特征输入至所述分解层中的多头注意力模块中得到趋势分量特征；

在所述第一剩余分量特征中去除所述趋势分量特征以得到第二剩余分量特征，并将所述第二剩余分量特征输入至所述分解层中的Feed-forward模块中得到剩余分量特征；

将所述剩余分量特征作为下一个所述分解层的输入直到通过所有所述分解层处理完毕输出目标剩余分量特征，并将所有所述分解层处理后得到的所述趋势分量特征与所述剩余分量特征分别进行通道融合以得到目标周期分量特征与目标趋势分量特征。

可选的，所述根据所述目标特征表示确定目标预测误差、目标重建误差与目标分布距离，包括：

将所述目标特征表示分别输入至训练后的预测网络、重建网络以及分布空间距离网络中，以得到目标预测误差、目标重建误差与目标分布距离。

可选的，所述根据所述目标预测误差、所述目标重建误差与所述目标分布距离对所述目标时序数据进行异常判定，包括：

根据所述目标预测误差、所述目标重建误差与所述目标分布距离采用投票法或加权求和方法以得到目标误差，并将所述目标误差与预设误差阈值进行比较；

如果所述目标误差大于所述预设误差阈值，则判定所述目标时序数据为异常数据。

第二方面，本申请公开了一种时序数据异常检测装置，包括：

预处理模块，用于获取目标时序数据并对所述目标时序数据进行预处理，以得到预处理后的目标时序数据；

数据嵌入模块，用于将所述预处理后的目标时序数据输入至训练后的嵌入网络中进行时间方向与信号方向的双视角数据嵌入，以得到时间视角嵌入特征与信号视角嵌入特征，然后将所述时间视角嵌入特征与信号视角嵌入特征进行融合以得到目标数据嵌入特征；

特征确定模块，用于将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中以得到所述目标时序数据对应的目标特征表示；

异常判定模块，用于根据所述目标特征表示确定目标预测误差、目标重建误差与目标分布距离，并根据所述目标预测误差、所述目标重建误差与所述目标分布距离对所述目标时序数据进行异常判定。

第三方面，本申请公开了一种电子设备，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现前述公开的所述的时序数据异常检测方法的步骤。

第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的所述的时序数据异常检测方法的步骤。

本申请在进行时序数据异常检测时，获取目标时序数据并对所述目标时序数据进行预处理，以得到预处理后的目标时序数据，将所述预处理后的目标时序数据输入至训练后的嵌入网络中进行时间方向与信号方向的双视角数据嵌入，以得到时间视角嵌入特征与信号视角嵌入特征，然后将所述时间视角嵌入特征与信号视角嵌入特征进行融合以得到目标数据嵌入特征，将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中以得到所述目标时序数据对应的目标特征表示，最后根据所述目标特征表示确定目标预测误差、目标重建误差与目标分布距离，并根据所述目标预测误差、所述目标重建误差与所述目标分布距离对所述目标时序数据进行异常判定。可见，本申请在进行时序数据异常检测时，首先采集目标时序数据并对所述目标时序数据进行预处理，并将预处理后的目标时序数据进行时间方向与信号方向的双视角数据嵌入，分别得到时间视角嵌入特征与信号视角嵌入特征之后将所述时间视角嵌入特征与所述信号视角嵌入特征进行融合，以得到目标数据嵌入特征，进一步通过信号分解Transformer网络确定目标特征表示，根据所述目标特征表示确定目标预测误差、目标重建误差与目标分布距离，并进一步进行对目标时序数据的异常检测。由此可见，本申请在进行时序数据异常检测时，在获取目标时序数据并对所述目标时序数据进行预处理之后，利用嵌入网络对预处理后的目标时序数据进行双视角数据嵌入，以得到时间视角嵌入特征与信号视角嵌入特征，然后将所述时间视角嵌入特征与信号视角嵌入特征进行融合以得到目标数据嵌入特征，通过双视角数据嵌入更好的学习了信号间的关联特征，进而能够更好的检测对多信号关联异常等类型的数据异常情况；另一方面，在进行时序数据异常检测时避免使用速度较慢的循环神经网络，从而在训练和推理速度上有明显的优势，训练时间短推理速度快，能够节约计算资源成本并提升特征异常检测的时效性；再者，利用目标预测误差、所述目标重建误差与所述目标分布距离三者共同进行目标时序数据的异常判定，基于多任务学习和多异常度量方式融合的机制进一步提升了模型的异常检测能力，从而大幅提升了对于不同异常的检测适应能力和泛化能力。综上，本申请能够在进行时序数据异常检测时提升准确度与训练推理速度并提升模型的泛化能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种时序数据异常检测方法流程图；

图2为本申请提供的一种具体的时序数据异常检测方法流程图；

图3为本申请提供的扩张因果卷积模块网络结构图；

图4为本申请提供的两种频域注意力模块网络结构图；

图5为本申请提供的时序数据异常检测流程示意图；

图6为本申请提供的时序数据异常检测网络结构图；

图7为本申请提供的时序数据异常检测网络训练流程示意图；

图8为本申请提供的一种时序数据异常检测装置结构示意图；

图9为本申请提供的一种电子设备结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

近年来，基于深度学习的方法逐步运用于时序数据异常检测。常用方法是基于循环神经网络的序列编码，然后结合基于预测、重建或数据分布距离等方法来定位异常点。然而，一方面采用循环神经网络进行编码和解码，由于循环神经网络只能顺序计算，无法并行，因此训练和推理速度慢，训练慢导致训练时间和算力成本增加，而推理速度慢则影响在线检测的时效性；另一方面，由于异常的产生具有不确定性，并且异常的类型较多，比如单点异常、上下文关联异常、周期变化异常、趋势变化异常等。不同的异常类型对于特征的要求和异常定义的要求不同，而该方法没有对信号间的关联关系进行建模，同时只采用了单一的重建误差，因此，很难同时使用所有异常类型，模型适应能力和泛化能力较差。为此，本申请提供了一种时序数据异常检测方法能够在进行时序数据异常检测时提升准确度与训练推理速度并提升模型的泛化能力的问题有待进一步解决。

本发明实施例公开了一种时序数据异常检测方法，参见图1所示，该方法包括：

步骤S11：获取目标时序数据并对所述目标时序数据进行预处理，以得到预处理后的目标时序数据。

在本实施例中，获取目标时序数据并对所述目标时序数据进行预处理，以得到预处理后的目标时序数据，包括：获取目标时序数据并对所述目标时序数据进行归一化，以得到归一化后的目标时序数据；将所述归一化后的目标时序数据在时间方向进行一维卷积操作，以得到预处理后的目标时序数据。具体地，将所述目标时序数据进行归一化，并将归一化后的目标时序数据在时间方向上进行卷积操作，卷积步长为1，在一种具体的实施方式中，卷积核大小可为3、5、7。通过上述技术方案，获取预处理后的目标时序数据，以便于后续将所述预处理后的目标时序数据进行数据嵌入等操作。

步骤S12：将所述预处理后的目标时序数据输入至训练后的嵌入网络中进行时间方向与信号方向的双视角数据嵌入，以得到时间视角嵌入特征与信号视角嵌入特征，然后将所述时间视角嵌入特征与信号视角嵌入特征进行融合以得到目标数据嵌入特征。

在本实施例中，将预处理后的目标时序数据输入至训练后的嵌入网络中进行双视角数据嵌入，以获取时间视角嵌入特征与信号视角嵌入特征，然后将所述时间视角嵌入特征与信号视角嵌入特征进行融合以得到目标数据嵌入特征。其中，所述嵌入网络即Embedding网络，在本实施例中具体为双视角数据嵌入网络。进一步的，在一种具体实施方式中，融合方式为将所述时间视角嵌入特征与信号视角嵌入特征直接相加，以获取目标数据嵌入特征；在另一种具体实施方式中，融合方式为将所述时间视角嵌入特征与所述信号视角嵌入特征通道叠加后接一个1×1的卷积以保持所述时间视角嵌入特征与所述信号视角嵌入特征叠加后的特征通道不变。通过上述技术方案，通过双视角数据嵌入更好的学习了信号间的关联特征，进而能够更好的检测对多信号关联异常等类型的数据异常情况。

步骤S13：将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中以得到所述目标时序数据对应的目标特征表示。

在本实施例中，将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中，以得到所述目标时序数据对应的目标特征表示。通过上述技术方案，根据目标数据嵌入特征获取对应的目标特征表示，以便于后续根据所述目标特征表示确定目标预测误差、目标重建误差与目标分布距离，并进一步进行异常判定。

步骤S14：根据所述目标特征表示确定目标预测误差、目标重建误差与目标分布距离，并根据所述目标预测误差、所述目标重建误差与所述目标分布距离对所述目标时序数据进行异常判定。

在本实施例中，根据目标特征表示确定目标预测误差、目标重建误差与目标分布距离，并进一步根据所述目标预测误差、所述目标重建误差与所述目标分布距离共同判定所述目标时序数据是否异常。通过上述技术方案，利用目标预测误差、所述目标重建误差与所述目标分布距离三者共同进行目标时序数据的异常判定，基于多任务学习和多异常度量方式融合的机制进一步提升了模型的异常检测能力，从而大幅提升了对于不同异常的检测适应能力和泛化能力。

可见，本实施例中在进行时序数据异常检测时，首先采集目标时序数据并对所述目标时序数据进行预处理，并将预处理后的目标时序数据进行时间方向与信号方向的双视角数据嵌入，分别得到时间视角嵌入特征与信号视角嵌入特征之后将所述时间视角嵌入特征与所述信号视角嵌入特征进行融合，以得到目标数据嵌入特征，进一步通过信号分解Transformer网络确定目标特征表示，根据所述目标特征表示确定目标预测误差、目标重建误差与目标分布距离，并进一步进行对目标时序数据的异常检测。由此可见，本申请在进行时序数据异常检测时，在获取目标时序数据并对所述目标时序数据进行预处理之后，利用嵌入网络对预处理后的目标时序数据进行双视角数据嵌入，以得到时间视角嵌入特征与信号视角嵌入特征，然后将所述时间视角嵌入特征与信号视角嵌入特征进行融合以得到目标数据嵌入特征，通过双视角数据嵌入更好的学习了信号间的关联特征，进而能够更好的检测对多信号关联异常等类型的数据异常情况；另一方面，在进行时序数据异常检测时避免使用速度较慢的循环神经网络，从而在训练和推理速度上有明显的优势，训练时间短推理速度快，能够节约计算资源成本并提升特征异常检测的时效性；再者，利用目标预测误差、所述目标重建误差与所述目标分布距离三者共同进行目标时序数据的异常判定，基于多任务学习和多异常度量方式融合的机制进一步提升了模型的异常检测能力，从而大幅提升了对于不同异常的检测适应能力和泛化能力。综上，本申请能够在进行时序数据异常检测时提升准确度与训练推理速度并提升模型的泛化能力。

参见图2所示，本发明实施例公开了一种具体的时序数据异常检测方法，相对于上一实施例，本实施例对技术方案作了进一步说明和优化。

步骤S21：获取目标时序数据并对所述目标时序数据进行预处理，以得到预处理后的目标时序数据。

步骤S22：将所述预处理后的目标时序数据输入至训练后的嵌入网络中进行时间方向与信号方向的双视角数据嵌入，以得到时间视角嵌入特征与信号视角嵌入特征，然后将所述时间视角嵌入特征与信号视角嵌入特征进行融合以得到目标数据嵌入特征。所述的嵌入网络，是本发明构建的一种双视角数据嵌入特征提取网络模块(见如6中的双视角数据嵌入)。该网络模块是由一个时间视角嵌入模块、一个信号视角嵌入模块、一个通道连接层(concat)和一个一维卷积层(conv1d)组成，其中时间视角嵌入模块与信号视角嵌入模块并行执行。输入数据同时输入到时间视角嵌入模块和信号视角嵌入模块中，分别提取时间视角嵌入特征和信号视角嵌入特征，然后通过通道连接层进行特征合并，最后通过一维卷积层进行进一步的处理得到目标数据嵌入特征。所述的时间视角嵌入模块和信号视角嵌入模块均采用了标准的扩张因果卷积(dilated causal convolution，见图3)来实现，其中时间视角嵌入模块是从时间维度，通过扩张因果卷积进行计算，信号视角嵌入模块是从信号维护，通过扩张因果卷积进行计算。本发明采用的扩张因果卷积层数设置为4，即共堆叠了四层因果卷积Dialation(即膨胀)，卷积层数自下而上依次设置为1，2，4，8，图3中仅画出了3层因果卷积。

在本实施例中，所述将所述预处理后的目标时序数据输入至训练后的嵌入网络中进行时间方向与信号方向的双视角数据嵌入，以得到时间视角嵌入特征与信号视角嵌入特征，然后将所述时间视角嵌入特征与信号视角嵌入特征进行融合以得到目标数据嵌入特征，包括：将所述预处理后的目标时序数据输入至训练后的嵌入网络中，针对所述目标时序数据的时间窗口中的每个信号进行扩张因果卷积操作，以得到时间视角嵌入特征；针对所述目标时序数据的时间窗口中的每个时间点对所有信号在所述时间点的值进行扩张因果卷积操作，以得到信号视角嵌入特征。具体地，针对信号间的关联表示，利用训练后的双视角数据嵌入网络对输入的目标时序数据进行数据嵌入和原始特征初步提取，从时间维度和信号维度分别进行计算，在时间视角上，针对一个时间窗口中的每个信号进行扩张因果卷积(即dilated causal convolution)操作；在信号视角上，针对一个时间窗口中的每个时间点，对所有信号在该时刻的值进行扩张因果卷积操作，获取信号间的关联表示。需要指出的是，扩张因果卷积模块网络结构图如图3所示，本发明采用的扩张因果卷积层数设置为4，即共堆叠了四层因果卷积Dialation(即膨胀)，卷积层数自下而上依次设置为1，2，4，8，图3中仅画出了3层因果卷积。最后采用直接相加或通过通道叠加和卷积的方式对双视角的结果进行融合操作，得到目标数据嵌入特征。

步骤S23：将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中以得到目标周期分量特征、目标趋势分量特征与目标剩余分量特征，并将所述目标周期分量特征、所述目标趋势分量特征与所述目标剩余分量特征相加以得到所述目标时序数据对应的目标特征表示。

在本实施例中，在本实施例中，将所述目标数据嵌入特征输入至训练后的Decomposed Transformer网络中以得到目标周期分量特征、目标趋势分量特征与目标剩余分量特征，并将所述目标周期分量特征、所述目标趋势分量特征与所述目标剩余分量特征相加以得到所述目标时序数据对应的目标特征表示，包括：将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中并通过所述信号分解Transformer网络中的预设数量的分解层中的频域注意力模块得到周期分量特征；在所述目标数据嵌入特征中去除所述周期分量特征以得到第一剩余分量特征，并将所述第一剩余分量特征输入至所述分解层中的多头注意力模块中得到趋势分量特征；在所述第一剩余分量特征中去除所述趋势分量特征以得到第二剩余分量特征，并将所述第二剩余分量特征输入至所述分解层中的Feed-forward模块中得到剩余分量特征；将所述剩余分量特征作为下一个所述分解层的输入直到通过所有所述分解层处理完毕输出目标剩余分量特征，并将所有所述分解层处理后得到的所述趋势分量特征与所述剩余分量特征分别进行通道融合以得到目标周期分量特征与目标趋势分量特征。

在本实施例中，所述Decomposed Transformer(信号分解Transformer)是在标准的Transformer网络基础上进行改进，形成的一个专门用于时序数据异常检测的“信号分解Transformer”。具体地，将信号分解的思想应用于Transformer网络中，构建了多个结构相同、级联连接的分解层(decompose layer)。所述分解层，是一个基于多头注意力模块(Multi-head Attention)和Feed-forward模块重新设计而成的信号分解网络层，其中，所述的Multi-head Attention和Feed-forward是Transformer网络中的已有网络模块。该分解层由三个串行模块构成，包括频域注意力模块(Frequency Attention)、多头注意力模块(Multi-head Attention)和Feed-forward模块。其中，频域注意力模块用于提取信号周期分量、多头注意力模块用于提取信号趋势分量、Feed-forward模块用于提取信号剩余分量。具体提取流程是：输入数据首先输入到频域注意力模块计算出周期分量，然后将输入数据与计算出的周期分量特征做差，即减掉周期分量特征)，作为多头注意力模块的输入，并通过多头注意力模块计算出趋势分量特征，同样的，将多头注意力模块的输入与趋势分量特征做差，即剪掉趋势分量特征Feed-forward模块的输入，并通过Feed-forward模块计算出剩余分量特征，该甚于分量将作为下一个分解层的输入进行计算。在一种具体实施方式中，有n个分解层，当所有的分解层都计算完成时，能够得到n个周期分量特征、n个趋势分量特征和一个目标剩余分量特征，可以理解的是，仅最后一个分解层输出目标剩余分量特征，前面的分解层输出的剩余分量特征都已经作为了下一个分解层的输入。进一步地，分别将n个周期分量和趋势分量进行分量合并，得到一个最终的周期分量和一个最终的趋势分量，所述分量合并是指首先将n个分量特征图进行通道融合(即concat)，然后通过一个一维卷积操作(即conv1d)对通道融合后的特征进行处理，使得特征图的大小与融合之前的每个分量特征图相同，最后通过一个Feed-forward模块进一步融合处理，将周期分量特征与趋势分量特征合并之后，得到最终的目标周期分量特征、目标趋势分量特征以及目标剩余分量特征。

可以理解的是，由于时序数据往往呈现出周期性的特点，为更加高效、精准地提取时序数据的特征，采用基于时序信号分解的框架，将时序数据分解为三个部分：周期分量、趋势分量和剩余分量分别进行特征提取。该框架与Transformer融合到一起，采用迭代的方式进行连接，即Transformer有多个分解层(即decompose layer)组成，每个分解层均提取周期分量特征、趋势分量特征和剩余分量特征，每个分解层由Frequency Attention、Multi-head Attention和Feed-Forward三个模块组成，其中Frequency Attention用于计算周期分量特征，本实施例提供的两种频域注意力模块(Frequency Attention)模块网络结构图如图4所示，两种频域注意力模块均是在多头注意力模块(Multi-head Attention)基础上进行改造实现。图4中，虚框包围部分是标准的多头注意力模块(Multi-headAttention)的网络结构，主要流程是Q，V，K分别首先进行线性变换(linear)，然后通过scaled Dot-product Attention计算得到相应输出，最后再进行dropout、linear、和层归一化(layerNorm)等计算得到最终结果。这里的Q、K、V分别指query、key和value，即多头注意力模块的输入。进一步地，本发明提供的频域注意力模块是在多头注意力模块基础上，通过将时域数据1)进行频域变换(即傅里叶变换)、2)在频域上选取top_K频域分量，3)然后进行逆变换(即傅里叶逆变换)返回时域，进行三个步骤的处理过程，嵌入到多头注意力模块中来实现，具体的嵌入位置如图4所示，其中图4(a)将这三个计算步骤嵌入到最开始位置，并增加了两个残差连接(residual)来防止过拟合，图4(b)是将这三个计算步骤插入到V的计算过程中，同时也增加了一个残差连接(residual)来防止过拟合。Multi-headAttention用于计算趋势分量特征；Feed-Forward分量用于计算剩余分量特征，Multi-headAttention和Feed Forward模块是采用Transformer中的定义。每个分解层的输出是剩余分量特征，前一层的剩余分量作为当前层的输入。最后，将各层和周期分量特征、趋势分量特征和最后一层的剩余分量特征进行融合，通道叠加后接一个1×1的卷积以保持原始通道大小，以得到目标特征表示。进一步的，每个分解层的计算方式，首先是采用傅里叶变换提取频域特征，然后再取Top-K频域分量并进行逆傅里叶变换回时域，再通过多头注意力层(即Multi-head attention)进行特征提取操作完成周期分量特征提取；原始输入去除周期分量特征后，通过多头注意力层提取趋势分量特征，然后再通过去除操作和特征提取层(即Feed-forward)计算剩余分量特征。

步骤S24：根据所述目标特征表示确定目标预测误差、目标重建误差与目标分布距离，并根据所述目标预测误差、所述目标重建误差与所述目标分布距离对所述目标时序数据进行异常判定。

在本实施例中，所述根据所述目标特征表示确定目标预测误差、目标重建误差与目标分布距离，包括：将所述目标特征表示分别输入至训练后的预测网络、重建网络以及分布空间距离网络中，以得到目标预测误差、目标重建误差与目标分布距离。所述根据所述目标预测误差、所述目标重建误差与所述目标分布距离对所述目标时序数据进行异常判定，包括：根据所述目标预测误差、所述目标重建误差与所述目标分布距离采用投票法或加权求和方法以得到目标误差，并将所述目标误差与预设误差阈值进行比较；如果所述目标误差大于所述预设误差阈值，则判定所述目标时序数据为异常数据。

具体地，将所述目标特征表示同时输入至预测网络、重建网络、分布空间距离网络中。其中预测网络是全连接网络，用于计算下一时刻的数据结果；重建网络是全连接网络，用于多输入数据进行重建；分布空间距离网络，是根据训练数据预先定义一个超球体中心，然后学习当前时刻数据到超球体中心的距离分布。根据上述三个结果分别计算预测误差、重建误差、分布距离，并采用投票法或加权求和方法以得到目标误差，与预先设定的预设误差阈值进行比较，大于预设误差阈值则判定为异常。可以理解的是，为适应不同类型的异常，不同于传统的单一的异常度量策略，提出了一种混合多种异常度量策略的方法，通过多任务学习的方式，同时实现数据的预测、重建和数据分布空间学习。多任务学习方式一方面能够学到不同的优化任务，另一方面也能够反过来提升特征学习的能力。在进行异常判定时，综合三种度量策略，能够更加有效的对各类异常进行检测。

在本实施例中，所述时序数据异常检测流程示意图如图5所示，首先采集目标时序数据并对所述目标时序数据进行预处理，并将预处理后的目标时序数据进行时间方向与信号方向的双视角数据嵌入，分别得到时间视角嵌入特征与信号视角嵌入特征之后将所述时间视角嵌入特征与所述信号视角嵌入特征进行融合，以得到目标数据嵌入特征，进一步通过信号分解Transformer网络确定目标特征表示，根据所述目标特征表示确定目标预测误差、目标重建误差与目标分布距离，并进一步进行对目标时序数据的异常检测。需要指出的是，本实施例在进行时序数据异常检测时，将所述嵌入网络、信号分解Transformer网络以及预测网络、重建网络与分布空间距离网络进行打包，以得到时序数据异常检测网络，所述时序数据异常检测网络结构图如图6所示，涉及了从输入到输出的全流程功能模块和数据流向。其中，核心部分是双视角数据嵌入，基于信号分解的特征表示，和用于异常度量的预测、重建和分布网络部分。分解层是首先计算周期分量特征，然后被去除之后再计算趋势分量特征，再被去除之后计算剩余特征。

可以理解的是，在进行时序数据异常检测之前，还包括对所述时序数据异常检测网络进行训练，时序数据异常检测网络训练流程示意图如图7所示，读取用于训练的数据集中时序数据，初始化各个网络的各层权值，计算数据嵌入特征，并进一步计算基于信号分解的特征表示，确定预测结果、重建结果和数据分布结果，并进一步预测误差、重建误差和数据分布距离。进行单次优化操作，通过反向传播更新模型参数权值。可用于权值更新的方法包括但不限于SGD，RMSProp，Adam，Nesterov Accelerated Gradient以及前述方法的组合。持续进行优化直到达到终止条件并判断是否终止该分支的训练。其中，所述终止条件可以是设定了总优化次数，或者是损失(loss)值小于某个预设值。最后保存训练更新后的对应网络权值，并结束模型训练过程。所述训练是采用端到端的无监督训练方式，模型不同阶段、不同分支均同步训练、同步更新、同时结束。

在本实施例中，将信号分解应用于多维时序数据建模，采用多视图数据嵌入、频域注意力特征提取机制和多任务学习策略实现异常检测，基于信号分解的特征提取方法，能够更加合理、精确的提取时序数据的特征表示，特征表达能力更强，从而在进行时序数据异常检测时具有速度快、精度高、适应性强的优势。

参见图8所示本申请实施例公开了一种时序数据异常检测装置，包括：

预处理模块11，用于获取目标时序数据并对所述目标时序数据进行预处理，以得到预处理后的目标时序数据；

数据嵌入模块12，用于将所述预处理后的目标时序数据输入至训练后的嵌入网络中进行时间方向与信号方向的双视角数据嵌入，以得到时间视角嵌入特征与信号视角嵌入特征，然后将所述时间视角嵌入特征与信号视角嵌入特征进行融合以得到目标数据嵌入特征；

特征确定模块13，用于将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中以得到所述目标时序数据对应的目标特征表示；

异常判定模块14，用于根据所述目标特征表示确定目标预测误差、目标重建误差与目标分布距离，并根据所述目标预测误差、所述目标重建误差与所述目标分布距离对所述目标时序数据进行异常判定。

可见，本实施例中在进行时序数据异常检测时，首先采集目标时序数据并对所述目标时序数据进行预处理，并将预处理后的目标时序数据进行时间方向与信号方向的双视角数据嵌入，分别得到时间视角嵌入特征与信号视角嵌入特征之后将所述时间视角嵌入特征与所述信号视角嵌入特征进行融合，以得到目标数据嵌入特征，进一步通过信号分解Transformer网络确定目标特征表示，根据所述目标特征表示确定目标预测误差、目标重建误差与目标分布距离，并进一步进行对目标时序数据的异常检测。由此可见，本申请在进行时序数据异常检测时，在获取目标时序数据并对所述目标时序数据进行预处理之后，利用嵌入网络对预处理后的目标时序数据进行双视角数据嵌入，以得到时间视角嵌入特征与信号视角嵌入特征，然后将所述时间视角嵌入特征与信号视角嵌入特征进行融合以得到目标数据嵌入特征，通过双视角数据嵌入更好的学习了信号间的关联特征，进而能够更好的检测对多信号关联异常等类型的数据异常情况；另一方面，在进行时序数据异常检测时避免使用速度较慢的循环神经网络，从而在训练和推理速度上有明显的优势，训练时间短推理速度快，能够节约计算资源成本并特征异常检测的时效性；再者，利用目标预测误差、所述目标重建误差与所述目标分布距离三者共同进行目标时序数据的异常判定，基于多任务学习和多异常度量方式融合的机制进一步提升了模型的异常检测能力，从而大幅提升了对于不同异常的检测适应能力和泛化能力。综上，本申请能够在进行时序数据异常检测时提升准确度与训练推理速度并提升模型的泛化能力。

在一些具体实施例中，所述预处理模块11，具体包括：

数据归一化单元，用于获取目标时序数据并对所述目标时序数据进行归一化，以得到归一化后的目标时序数据；

卷积单元，用于将所述归一化后的目标时序数据在时间方向进行一维卷积操作，以得到预处理后的目标时序数据。

在一些具体实施例中，所述数据嵌入模块12，具体包括：

时间视角嵌入单元，用于将所述预处理后的目标时序数据输入至训练后的嵌入网络中，针对所述目标时序数据的时间窗口中的每个信号进行扩张因果卷积操作，以得到时间视角嵌入特征；

信号视角嵌入单元，用于针对所述目标时序数据的时间窗口中的每个时间点对所有信号在所述时间点的值进行扩张因果卷积操作，以得到信号视角嵌入特征。

在一些具体实施例中，所述特征确定模块13，具体用于：将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中以得到目标周期分量特征、目标趋势分量特征与目标剩余分量特征，并将所述目标周期分量特征、所述目标趋势分量特征与所述目标剩余分量特征相加以得到所述目标时序数据对应的目标特征表示。

在一些具体实施例中，所述特征确定模块13，具体包括：

周期分量特征确定单元，用于将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中并通过所述信号分解Transformer网络中的预设数量的分解层中的频域注意力模块得到周期分量特征；

趋势分量特征确定单元，用于在所述目标数据嵌入特征中去除所述周期分量特征以得到第一剩余分量特征，并将所述第一剩余分量特征输入至所述分解层中的多头注意力模块中得到趋势分量特征；

剩余分量特征确定单元，用于在所述第一剩余分量特征中去除所述趋势分量特征以得到第二剩余分量特征，并将所述第二剩余分量特征输入至所述分解层中的Feed-forward模块中得到剩余分量特征；

分量特征融合单元，用于将所述剩余分量特征作为下一个所述分解层的输入直到通过所有所述分解层处理完毕输出目标剩余分量特征，并将所有所述分解层处理后得到的所述趋势分量特征与所述剩余分量特征分别进行通道融合以得到目标周期分量特征与目标趋势分量特征。

在一些具体实施例中，所述异常判定模块14，具体包括：

误差确定单元，用于将所述目标特征表示分别输入至训练后的预测网络、重建网络以及分布空间距离网络中，以得到目标预测误差、目标重建误差与目标分布距离。

在一些具体实施例中，所述异常判定模块14，具体包括：

误差比较单元，用于根据所述目标预测误差、所述目标重建误差与所述目标分布距离采用投票法或加权求和方法以得到目标误差，并将所述目标误差与预设误差预设进行比较；

异常判定单元，用于如果所述目标误差大于所述预设误差阈值，则判定所述目标时序数据为异常数据。

图9所示为本申请实施例提供的一种电子设备20。该电子设备20，具体还可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的时序数据异常检测方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。

本实施例中，电源23用于为电子设备20上的各硬件设备提供电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源储存的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221，计算机程序222等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的时序数据异常检测方法的计算机程序外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的时序数据异常检测方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种时序数据异常检测方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种时序数据异常检测方法，其特征在于，包括：

获取目标时序数据并对所述目标时序数据进行预处理，以得到预处理后的目标时序数据；

将所述预处理后的目标时序数据输入至训练后的嵌入网络中进行时间方向与信号方向的双视角数据嵌入，以得到时间视角嵌入特征与信号视角嵌入特征，然后将所述时间视角嵌入特征与信号视角嵌入特征进行融合以得到目标数据嵌入特征；

将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中以得到所述目标时序数据对应的目标特征表示；

根据所述目标特征表示确定目标预测误差、目标重建误差与目标分布距离，并根据所述目标预测误差、所述目标重建误差与所述目标分布距离对所述目标时序数据进行异常判定。

2.根据权利要求1所述的时序数据异常检测方法，其特征在于，所述获取目标时序数据并对所述目标时序数据进行预处理，以得到预处理后的目标时序数据，包括：

获取目标时序数据并对所述目标时序数据进行归一化，以得到归一化后的目标时序数据；

将所述归一化后的目标时序数据在时间方向进行一维卷积操作，以得到预处理后的目标时序数据。

3.根据权利要求1所述的时序数据异常检测方法，其特征在于，所述将所述预处理后的目标时序数据输入至训练后的嵌入网络中进行时间方向与信号方向的双视角数据嵌入，以得到时间视角嵌入特征与信号视角嵌入特征，包括：

将所述预处理后的目标时序数据输入至训练后的嵌入网络中，针对所述目标时序数据的时间窗口中的每个信号进行扩张因果卷积操作，以得到时间视角嵌入特征；

针对所述目标时序数据的时间窗口中的每个时间点对所有信号在所述时间点的值进行扩张因果卷积操作，以得到信号视角嵌入特征。

4.根据权利要求1所述的时序数据异常检测方法，其特征在于，所述将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中以得到所述目标时序数据对应的目标特征表示，包括：

将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中以得到目标周期分量特征、目标趋势分量特征与目标剩余分量特征，并将所述目标周期分量特征、所述目标趋势分量特征与所述目标剩余分量特征相加以得到所述目标时序数据对应的目标特征表示。

5.根据权利要求4所述的时序数据异常检测方法，其特征在于，所述将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中以得到目标周期分量特征、目标趋势分量特征与目标剩余分量特征，包括：

将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中并通过所述信号分解Transformer网络中的预设数量的分解层中的频域注意力模块得到周期分量特征；

在所述目标数据嵌入特征中去除所述周期分量特征以得到第一剩余分量特征，并将所述第一剩余分量特征输入至所述分解层中的多头注意力模块中得到趋势分量特征；

在所述第一剩余分量特征中去除所述趋势分量特征以得到第二剩余分量特征，并将所述第二剩余分量特征输入至所述分解层中的Feed-forward模块中得到剩余分量特征；

将所述剩余分量特征作为下一个所述分解层的输入直到通过所有所述分解层处理完毕输出目标剩余分量特征，并将所有所述分解层处理后得到的所述趋势分量特征与所述剩余分量特征分别进行通道融合以得到目标周期分量特征与目标趋势分量特征。

6.根据权利要求1所述的时序数据异常检测方法，其特征在于，所述根据所述目标特征表示确定目标预测误差、目标重建误差与目标分布距离，包括：

将所述目标特征表示分别输入至训练后的预测网络、重建网络以及分布空间距离网络中，以得到目标预测误差、目标重建误差与目标分布距离。

7.根据权利要求1所述的时序数据异常检测方法，其特征在于，所述根据所述目标预测误差、所述目标重建误差与所述目标分布距离对所述目标时序数据进行异常判定，包括：

根据所述目标预测误差、所述目标重建误差与所述目标分布距离采用投票法或加权求和方法以得到目标误差，并将所述目标误差与预设误差阈值进行比较；

如果所述目标误差大于所述预设误差阈值，则判定所述目标时序数据为异常数据。

8.一种时序数据异常检测装置，其特征在于，包括：

预处理模块，用于获取目标时序数据并对所述目标时序数据进行预处理，以得到预处理后的目标时序数据；

数据嵌入模块，用于将所述预处理后的目标时序数据输入至训练后的嵌入网络中进行时间方向与信号方向的双视角数据嵌入，以得到时间视角嵌入特征与信号视角嵌入特征，然后将所述时间视角嵌入特征与信号视角嵌入特征进行融合以得到目标数据嵌入特征；

特征确定模块，用于将所述目标数据嵌入特征输入至训练后的信号分解Transformer网络中以得到所述目标时序数据对应的目标特征表示；

异常判定模块，用于根据所述目标特征表示确定目标预测误差、目标重建误差与目标分布距离，并根据所述目标预测误差、所述目标重建误差与所述目标分布距离对所述目标时序数据进行异常判定。

9.一种电子设备，其特征在于，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的时序数据异常检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的时序数据异常检测方法的步骤。

Images