CN116244596A - 基于tcn和注意力机制的工业时序数据异常检测方法 - Google Patents

Abstract

本发明公开了一种基于TCN和注意力机制的工业时序数据异常检测方法。在工业生产场景中，工业大数据具有时序性、高纬度、样本分布不均、价值密度低和闭环性等特点，同时，工业传感器等数据采集设备所处环境恶劣，并可能被人为操纵产生无效甚至误导的数据，严重影响工厂最后的判断。本发明基于时空卷积网络TCN模型，依靠其稳定的梯度和灵活的感受野来捕捉时间序列中的相关性，嵌入注意力机制，根据不同特征在数据中的重要性调整其对应的权重，从而提高异常检测模型的准确度，降低工厂试错成本并减少计划外停机时间。本发明以真实工业传感器采集数据集为测试数据，所提出模型可靠性高，检测效果良好。

Description

基于TCN和注意力机制的工业时序数据异常检测方法

技术领域

本发明属于工业互联网数据分析领域，具体涉及一种基于时间卷积网络(TCN)和注意力机制的工业时序数据异常检测方法。

背景技术

随着5G和工业互联网的发展，传统的流程型制造工业，如化工、造纸、钢铁、制药、食品饮料等已经开始转向智能化制造。工业互联网自发展之初，就将数据作为核心要素，将数据驱动的优化闭环作为实现工业互联网赋能价值的关键。为提高工厂的盈利效率和转型智能制造，数据变得越加重要，采集多特征数据的集成传感器将大量增加，工业大数据的来源也越来越多样化，而且呈指数级的趋势增长。但在实际的生产环境中，传感器等数据采集设备所处环境恶劣，并可能被人为操纵产生无效甚至误导的数据，严重影响工厂最后的判断。此外，工业大数据不仅包含了现在互联网大数据的所有特点，同时还具有时序性、高维度、样本分布不均、价值密度低和闭环性等特点。因此，如何高效准确的检测出工业时序数据中的异常，以此降低工厂的试错成本，减少计划外的停机时间，这个问题变得尤为重要。

在工业数据的分析检测阶段，相比已经广泛存在了大量时序数据研究方法的金融、气象等领域。近年来，工业的时间序列数据分析才日渐引起关注，尤其是工业中生产线的周期性运转和定期的数据采集，数据是具有强时序性的，如果能利用好这类时序数据，可以极大方便用户分析数据中的时间关系，合理地判断数据是否仍然有效，或者通过整合相应时间段的相关数据来提取有价值的信息。异常检测通常是指找出与预期行为或正常行为不一致的问题。时间序列异常检测可以提前发出预警并检查相应设备，防止问题进一步扩散，促进工业的智能化。因此，基于时序模型和深度学习的异常检测方法，不仅可以更加符合工业生产数据的特点，还能保证较高的准确度和良好的预测效果。

在过去的几十年里，各种深度学习模型被考虑用来检测时间序列异常。这些模型依靠多维网络结构来挖掘时空分布特征。在以往的传统研究中，一般习惯性的采用循环神经网络(RNN)来建模时序问题，这是因为RNN天生的循环自回归结构可以很好的表示时间序列，但由于其自身结构的缺陷，在较长的时间序列任务上很容易发生梯度爆炸或梯度消失。随着门控递归单元网络(GRU)的引入，长期记忆(LSTM)网络以某种方式缓解了RNN中的消失和爆炸梯度，但对于长序列建模，仍然难以捕获扩展序列信息。与传统的CNN相比，TCN具有非常稳定的梯度和灵活的感受野，能够整合因果卷积来保存顺序信息，而不会从未来泄露到过去，此外TCN支持并行训练，占用内存更低，速度更快。同时，注意力机制的结合能捕捉特征中的重要性，调整权重，提高模型检测性能。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明主要解决在工业生产环境中，通过基于时间卷积网络和注意力机制的工业大数据异常检测方法，快速且准确的识别和判断出工业数据异常。主要包括以下内容：

1)数据预处理。针对真实工业场景中，工业大数据的时序性、高维度、样本分布不均、价值密度低和闭环性等特点，在获得工业传感器采集上来的历史时序数据之后，需先删除不相关维度的数据，填补或删除缺失数据。在进行预处理完成之后，根据需求划分一定比例的数据集，同时进行标准化处理。

2)基于时间卷积网络和注意力机制，构建IAD-TCN模型。由于常见的循环神经网络(RNN)和长期记忆(LSTM)网络，对于长序列时间建模，仍然难以捕获扩展序列信息。因此构建具有稳定梯度和灵活感受野的TCN网络结构。TCN引入了膨胀卷积，采样率受间隔参数d来影响控制，一般层级越高，d也相应越大，因此用较少层就能获得更大的感受野。同时，TCN中的残差连接可以跨层传递信息，从而提高模型训练速度，避免梯度爆炸和消失问题。对于一个残差块来说，它包含两层的卷积和非线性映射，在每层中还加入了WeightNorm和Dropout来正则化网络。之后，在每一层卷积顶端加入一层Attention层，用于捕获每层输入的隐藏信息。

3)利用训练完成的模型进行异常检测。为了更加准确的评估模型的异常检测性能，本发明采用了数据真实值和预测值之间的误差进行异常的判断。为此，定义了两种判断标准：对于数据点异常的判断，需计算出当前时间点的模型预测值和真实值之间的欧几里得距离，得到点异常分数，再根据点异常分数和给定阈值的大小判定异常；对于窗口异常的判断，需计算出窗口内所有点的预测误差，统计误差中超出基准值的点个数并计算出其在窗口中的占比，得到窗口异常分数，再根据窗口异常分数和给定阈值的大小判定异常。

附图说明

图1是本发明一实施方式的流程图；

图2是本发明一实施方式的整个方案架构图；

图3是本发明一实施方式的TCN网络膨胀卷积图；

图4是本发明方法与现有技术之间的实验对比示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

本发明重点解决的问题是在工业互联网场景下，基于时间卷积网络TCN，依靠其稳定的梯度和灵活的感受野来捕捉时间序列中的相关性，嵌入注意力机制，根据不同特征在数据中的重要性调整其对应的权重，从而提高异常检测模型的准确度和可靠性，降低工厂试错成本并减少计划外停机时间，整个方案的架构图如图2所示。本发明以真实工业传感器采集数据集为测试数据，检测效果良好。

如图1所示，具体实施过程如下：

步骤1：数据预处理

对获取到的时序数据进行预处理，删除不相关维度和缺失数据，针对处理后的数据，将60％的数据作为训练集，40％的数据作为测试集。同时进行标准化处理，其公式如下：

式中，x_i是第i个传感器的采集值，Min_train,i是训练集中第i个传感器的最小采集值，Max_train,i是训练集中第i个传感器的最大采集值，x′_i是标准化后的第i个传感器的采集值。

步骤2：基于时间卷积网络和注意力机制，构建IAD-TCN模型

采用时间卷积网络TCN框架，引入了膨胀卷积。采样率受间隔参数d控制，如图3所示。当底层d＝1，表示输入时每个点都采样，中间层d＝2，表示输入时每2个点采样一个作为输入。一般来讲，层级越高，d越大。因此用比较少的层，就可以获得很大的感受野。

在训练深层网络时，残差连接可以跨层传递信息，从而提高模型训练速度，避免梯度爆炸和消失问题。对于一个残差块来说，它包含两层的卷积和非线性映射，在每层中还加入了WeightNorm和Dropout来正则化网络。

在每一层卷积顶端加入一层Attention层，用于捕获每层输入的隐藏信息。对于每一层隐藏卷积层，在经过残差连接后，注意力模块通过输入的隐藏状态h_s和输出的隐藏状态h_t计算注意力分数，如下所示：

然后使用softmax激活函数计算注意力权重，如下所示：

对注意力权重和h_s进行点乘操作，得到上下文向量，记录输入时序数据中对预测结果影响最大的时间点，如下所示：

连接上下文向量和h_t，使用tanh函数计算出最终的输出向量，如下所示：

At_vector＝tanh(W_e[c_t:h_t])

步骤3：利用训练完成的模型进行异常检测

采用数据真实值和预测值之间的误差进行异常的判断。当判断窗口异常时，通过计算窗口内点的预测误差，统计误差中超过基准值的点个数，并计算出其个数在窗口内的占比，从而计算出窗口异常分数，如下所示：

m_residual＝(y_t-y′_t)²

式中，y_t为真实值，y′_t为模型预测值，ΔC为基准值，t₀,t_end为窗口的开始时间和结束时间，score_window为窗口异常分数，当异常分数高于给定的阈值，则该窗口判断为发生异常。

当判断点异常时，利用当前时间的模型预测值和真实值计算出欧几里得距离，得到该时刻t的点异常分数，如下所示：

式中，y_t为真实值，y′_t为模型预测值，score_point为点异常分数，当异常分数高于给定的阈值，则该点判断为发生异常。

通过实验，为了验证本发明所提出模型IAD-TCN的异常检测性能，使用精度、召回率、F1得分和准确度四个指标进行性能对比评估，如图4所示，本发明所提出的异常检测模型检测效果优于其他算法，在工业时序数据异常检测中，具有十分良好的性能。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (4)

1.一种基于TCN和注意力机制的工业时序数据异常检测方法，包括如下步骤：

获得工业传感器采集上来的历史时序数据，并在预处理后将其作为训练集，进行标准化处理。

利用工业时序数据训练集作为输入，基于基于时间卷积网络和注意力机制，构建IAD-TCN模型并进行训练。

利用步骤(2)所得到的时序数据异常检测模型IAD-TCN，输入待分析的工业时序数据进行检测，得到异常检测结果。

2.根据权利要求1所述的一种基于TCN和注意力机制的工业时序数据异常检测方法，其特征在于：步骤(1)所述获得工业传感器采集上来的历史时序数据，并在预处理后将其作为训练集，进行标准化处理的过程具体为：

对获取到的时序数据进行预处理，删除不相关维度和缺失数据，针对处理后的数据，将60％的数据作为训练集，40％的数据作为测试集。同时进行标准化处理，其公式如下：

式中，x_i是第i个传感器的采集值，Min_train,i是训练集中第i个传感器的最小采集值，Max_train,i是训练集中第i个传感器的最大采集值，x′_i是标准化后的第i个传感器的采集值。

3.根据权利要求2所述的一种基于TCN和注意力机制的工业时序数据异常检测方法，其特征在于：步骤(2)所述利用工业时序数据训练集作为输入，基于基于时间卷积网络和注意力机制，构建IAD-TCN模型并进行训练的过程具体为：

采用时间卷积网络TCN框架，引入了膨胀卷积。采样率受间隔参数d控制。如底层d＝1，表示输入时每个点都采样，中间层d＝2，表示输入时每2个点采样一个作为输入。一般来讲，层级越高，d越大。因此用比较少的层，就可以获得很大的感受野。

在训练深层网络时，残差连接可以跨层传递信息，从而提高模型训练速度，避免梯度爆炸和消失问题。对于一个残差块来说，它包含两层的卷积和非线性映射，在每层中还加入了WeightNorm和Dropout来正则化网络。

在每一层卷积顶端加入一层Attention层，用于捕获每层输入的隐藏信息。对于每一层隐藏卷积层，在经过残差连接后，注意力模块通过输入的隐藏状态h_s和输入的隐藏状态h_t计算注意力分数，如下所示：

然后使用softmax激活函数计算注意力权重，如下所示：

对注意力权重和h_s进行点乘操作，得到上下文向量，记录输入时序数据中对预测结果影响最大的时间点，如下所示：

连接上下文向量和h_t，使用tanh函数计算出最终的输出向量，如下所示：

At_vector＝tanh(W_c[c_t:h_t])。

4.根据权利要求3所述的一种基于TCN和注意力机制的工业时序数据异常检测方法，其特征在于：步骤(3)所述利用步骤(2)所得到的时序数据异常检测模型IAD-TCN，输入待分析的工业时序数据进行检测，得到异常检测结果的过程具体为：

判断窗口异常，通过计算窗口内点的预测误差，统计误差中超过基准值的点个数，并计算出其个数在窗口内的占比，从而计算出窗口异常分数，如下所示：

m_residual＝(y_t-y′_t)²

式中，y_t为真实值，y′_t为模型预测值，ΔC为基准值，t₀,t_end为窗口的开始时间和结束时间，score_window为窗口异常分数，当异常分数高于给定的阈值，则该窗口判断为发生异常。

(a)判断点异常，利用当前时间的模型预测值和真实值计算出欧几里得距离，得到该时刻t的点异常分数，如下所示：

式中，y_t为真实值，y′_t为模型预测值，score_point为点异常分数，当异常分数高于给定的阈值，则该点判断为发生异常。

Images