CN116502164A - 基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法、设备及介质 - Google Patents

基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法、设备及介质 Download PDF

Info

Publication number
CN116502164A
CN116502164A CN202310447016.6A CN202310447016A CN116502164A CN 116502164 A CN116502164 A CN 116502164A CN 202310447016 A CN202310447016 A CN 202310447016A CN 116502164 A CN116502164 A CN 116502164A
Authority
CN
China
Prior art keywords
frequency domain
training
anomaly detection
data
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310447016.6A
Other languages
English (en)
Inventor
宋洪涛
张钊
韩启龙
刘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Longming Technology Co ltd
Harbin Engineering University
Original Assignee
Harbin Longming Technology Co ltd
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Longming Technology Co ltd, Harbin Engineering University filed Critical Harbin Longming Technology Co ltd
Priority to CN202310447016.6A priority Critical patent/CN116502164A/zh
Publication of CN116502164A publication Critical patent/CN116502164A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Complex Calculations (AREA)

Abstract

基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法，解决模型的鲁棒性较差，容易收到外部干扰，从而导致检测结果的准确率下降；以及时序数据的频域特征没有被充分考虑，从而导致模型精度受限，分析结构不精准的问题。所述方法整体分为两个阶段：训练阶段和异常检测阶段。在训练阶段，需要利用历史采集到的数据训练模型，使得模型参数能够拟合对应的应用场景。在异常检测阶段中，在每个最新的真实数据产生的时候，模型需要重构出以最新的时间点为结尾的定长时间窗口长度的时序数据，来和原始的真实数据进行残差计算，根据真实数据与重构数据的残差大小来判断当前数据是否是异常数据。本发明适用于工业设备故障检测以及生产线运行状态检测和分析。

Description

基于对抗训练和频域改良自注意力机制的多维时序数据异常 检测方法、设备及介质
技术领域
本发明属于智能故障诊断技术领域，具体涉及一种时序数据异常的检测方法。
背景技术
时序数据异常检测是时序数据分析中最为成熟的一种方法。高效的异常检测技术被广泛应用于现实生活中的各个领域。在工业生产全面信息化的大背景下，工业设备上的传感器种类更加繁多，采样频率也更高，数据堆积的速度非常快。这在原本异常非常稀少的情况下更加大了异常检测的难度。面对监控数据庞大，指标更多的工业时序数据，传统的完全人工异常检测变得不切实际。现代工业异常检测已逐步向人工智能方向靠拢。比较传统的统计学和机器学习方法主要是使用历史数据建模，对输入数据进行降维检测，或者基于分类或聚类的方法进行检测。但是，复杂的工业生产过程中数据之间存在着直接或间接的关系。传统的机器学习模型难以从高维数据中提取目标之间的直接联系。深度学习技术的出现缓解了这一问题。然而，目前异常检测领域内的深度学习模型仍普遍存在两个问题：
1.模型的鲁棒性较差，且易受到噪声影响。当前时序数据异常检测模型的鲁棒性存在一定程度的不足，这意味着在实际应用中可能会面临一些挑战。同时，这些模型也容易受到噪声等外部因素的干扰和影响，从而导致检测结果的准确性下降。
2.时序数据的频域特征没有被很好的考虑到。在时序数据的分析中，除了时间域特征外，频域特征也是非常重要的。然而，在当前的时序数据分析中，频域特征往往没有被很好地考虑到，这可能会导致在一些复杂场景下分析结果不够准确。具体来说，频域特征通常包括信号的频率、幅度、相位、功率谱密度等指标，它们能够提供更深入的信号分析和诊断信息。然而，在传统的时序数据分析方法中，通常只关注时间域上的特征，比如均值、方差、最大值、最小值等简单的指标，并没有充分利用频域特征。这样容易忽略一些潜在的信息，导致模型的精度受到限制。为了更好地利用时序数据的频域特征，可以采用一些先进的分析技术，比如傅里叶变换、小波变换等，将时域信号转化为频域信号，并提取其中的重要特征。此外，还可以采用基于机器学习或深度学习的方法，结合频域特征进行模型训练和优化。
发明内容
本发明的目的是针对时序数据异常检测问题，克服现有技术的不足，在通过离散小波分解和傅里叶变换充分利用时序数据频域特征的基础上，结合对抗训练鲁棒性好的优势，提出了基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法，解决模型的鲁棒性较差，容易收到外部干扰，从而导致检测结果的准确率下降；以及时序数据的频域特征没有被充分考虑，从而导致模型精度受限，分析结构不精准的问题。
本发明是通过以下技术方案实现的，本发明提出基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法、设备及介质。
所述方法具体包括以下步骤：
步骤1：获取原始数据集并进行预处理；
步骤2：构建基于对抗训练和频域改良自注意力机制的异常检测模型；
步骤3：对步骤2所述基于对抗训练和频域改良自注意力机制的异常检测模型进行训练；
步骤4：将待检测的时序数据输入到经过步骤3训练后的模型中，进行异常判定。
进一步地，所述步骤1包括以下步骤：
步骤1.1：将所述原始数据集划分为训练集和测试集；
步骤1.2：定义一个滑动窗口，滑动步长设定为1，根据所述原始数据集设定窗口大小；
所述滑动窗口为含有固定长度时间点的连续的时间序列数据。
所述滑动步长为所述滑动窗口在原始数据集上每一次移动的距离。
步骤1.3：将所述滑动窗口在所述原始数据集上滑动，将每次滑动窗口内的数据划分为一个定长的子序列；
步骤1.4：将步骤1.3中划分得到的子序列保存在集合中，用于模型训练的输入；
进一步地，所述步骤2包括以下步骤：
步骤2.1：构建位置编码层，计算输入子序列的位置编码信息，并将其附加到输入中；
步骤2.2：构建编码器结构，编码器结构由基于小波分解和傅里叶变换的频域增强的自注意力模块，残差链接和归一化和全连接神经网络串联构成；
步骤2.3：构建两个并行的解码器结构，解码器结构由基于小波分解和傅里叶变换的频域增强的自注意力模块，残差连接和归一化层，全连接层和Softmax层构成；
进一步地，所述步骤3包括以下步骤：
步骤3.1：将经过步骤1处理的训练集中的子序列输入到步骤2中的基于对抗训练和频域改良自注意力机制的多维时序数据异常检测模型中，通过所述两个并行的解码器结构分别得到两个第一阶段的输出；
步骤3.2：利用步骤3.1中所述的输出计算残差矩阵，并将其附加到输入的子序列中，再次输入到模型的编码器结构中，通过第二个解码器得到第二阶段训练的输出；
步骤3.3：用步骤3.1和步骤3.2得到的输出和输入的子序列进行最小化交叉熵损失函数的计算，更新模型参数；
进一步地，所述步骤4包括以下步骤：
步骤4.1：将经过步骤1处理的测试集中的子序列依次输入到模型中，经过步骤3.1和步骤3.2两个阶段得到该输入子序列所对应的三个输出；
步骤4.2：应用步骤4.1得到的输出计算异常分数；
步骤4.3：通过阈值选择算法结合步骤4.2中得到的异常分数对当前输入子序列进行异常判定；
一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据权利要求1-5中任一项所述的基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法。
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行权利要求1-5中任一项所述的基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法。
基于对抗训练和频域改良自注意力机制的多维时序数据异常检测系统，其特征在于，所述系统包括：用于获取原始数据集并进行预处理的数据采集模块；用于构建基于对抗训练和频域改良自注意力机制的异常检测模型的建模模块；用于对所述基于对抗训练和频域改良自注意力机制的异常检测模型进行训练的训练模块；用于将待检测的时序数据输入到训练后的模型中进行异常判定的判定模块。
与现有技术相比，本发明通过引入对抗训练，提升了生成模型的性能和鲁棒性。其次，本发明充分考虑到频域信息对时间序列的重要性，以经过简化的TransFormer编解码器结构为基础，引入了基于离散小波分解和傅里叶变换的频域增强的自注意力模块，替代掉原始的未对时序数据进行优化的自注意力算法。与其他模型相比，本发明设计的方法鲁棒性更好且适用于各种数据集，并且可以在一定程度上降低噪声对模型异常检测效果的影响。
本发明所述的方法适用于对连续的多维时序数据进行异常检测，在诸多领域都有广泛应用。具体到应用场景较多的工业领域中，传感器设备对工业设备、生产线等各种系统的运行状态进行实时监测，本方法可以通过传感器监测到的数据检测出其中存在的异常状态，以及可能对系统正常运行产生影响的故障和问题。具体应用场景包括但不限于以下几种：
设备故障检测：通过对工业设备的关键零部件的运行状态，如转轴机械轴承的振动频率等进行实时监测和分析，检测出其中存在的异常状态和可能对设备正常运行产生影响的故障和问题，提前对设备进行检修和关键零件的更换。
生产线异常检测：通过对生产线的运行状态进行实时监测和分析，检测出产线当中存在的异常状态的关键节点，对可能对生产效率产生影响的故障和问题及时进行定位。如监测生产线上的气压、液压等参数，以检测是否存在管路堵塞、泄漏等异常状态。或者监测生产线上物料的位置、运动状态等信息，以检测是否存在物料堵塞、缺料等异常状态。
综上所述，工业时序数据异常检测可以应用于工业生产的各个环节，从而帮助企业提高生产效率、降低成本、提高产品质量、保障工人安全等方面产生积极的作用。
附图说明
图1为基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法的流程图；
图2为基于对抗训练和频域改良自注意力机制的多维时序数据异常检测模型框架图；
图3为对抗训练结构中编码器和解码器结构图；
图4为小波分解模块框架图；
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1至图4所示，本发明提供了基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法，具体包括以下步骤：
步骤1：获取原始数据集并进行预处理；
所述步骤1具体包含以下步骤：
步骤1.1：将原始数据集划分为训练集和测试集。对于含有异常标签的数据集，应使用该部分数据作为测试集的一部分，而仅使用不含异常的正常数据用于训练。若原始数据集无标签，可直接对原始数据集进行划分；
步骤1.2：定义一个滑动窗口(含有固定长度时间点的连续的时间序列数据)，为了保证异常检测的实时性，将滑动步长设定为1。滑动窗口的大小通常由原始数据集的周期性特征和应用场景传感器的采样频率等因素共同决定，应根据不同应用场景选择不同合适的窗口大小；
步骤1.3：将步骤1.2定义的滑动窗口在原始数据集上滑动并划分定长的子序列。例如，如果滑动窗口的大小为10，滑动步长为1，则第一个划分出的子序列将包含时间点1到10的数据，第二个子序列将包含时间点2到11的数据，以此类推；
步骤1.4：将步骤1.3中划分得到的子序列保存在集合中，用于模型训练；
步骤2：构建基于对抗训练和频域改良自注意力机制的异常检测模型；
所述步骤2具体包含以下步骤：
步骤2.1：在输入后构建位置编码层，计算输入子序列的位置编码信息，将其附加到输入子序列中。位置编码计算方法选择三角函数法，计算方法如下：
其中两项分别是位置k的编码向量的第2,2+1个分量，d是位置向量的维度。计算不同位置数据的位置编码后，仿照通常的做法，将其直接与原始的输入子序列对应时间点的数据相加；
步骤2.2：如图2所示，在步骤2.1中位置编码层后方构建编码器结构。如图3所示，编码器由基于小波分解和傅里叶变换的频域增强的自注意力模块，残差链接和归一化和全连接神经网络串联组成；
所述步骤2.2中的基于小波分解和傅里叶变换的频域增强的自注意力模块，其输入为步骤2.1得到的附加了位置编码信息的原始输入子序列拼接上一个与输入相同大小的0向量：
其中E是编码器，Wt表示附加了位置编码的输入子序列。该子序列首先经过小波分解矩阵，本发明采用python的dwt库实现离散小波方法，可以根据不同的小波实现设定分解矩阵的参数。序列经过离散小波分解后，会输出一个高频分量和一个低频分量。如图4所示，使用两个傅里叶变换模块分别对高频分量和低频分量进行处理。由于离散小波分解是多级递归的，在低频分量被傅里叶变换模块处理前应该保留一份原始备份用于下一级的离散小波分解；
所述步骤2.2中的傅里叶变换子模块包含两个过程，随机采样过程和注意力计算过程。两个过程都在傅里叶变换过后进行。傅里叶变换子模块的输入是步骤2.2中小波分解后得到的低频分量和高频分量，两个分量本质上也是序列数据。傅里叶变换子模块的计算过程如下：
其中F代表傅里叶变换操作，和/>代表着在频域经过随机采样后保留下来的频域信息。F-1表示傅里叶逆变换。首先同一般的自注意力机制相同，步骤2.2中小波分解后得到的低频分量和高频分量经由三个MLP变换成Q、K和V三个矩阵，分别对其进行傅里叶变换操作，得到输入的频域表示。傅里叶变换让信号特征在频域的表征更加明显，而一般信号在频域上具有稀疏性。也就是说，在频域上保留很少的点，就可以几乎无损的还原出时域信号。保留的点越多，信息损失越少，反之亦然。
考虑到这一点，此处对频域信息进行随机丢弃，比例可以根据效果自行调节，但通常不超过1/2。这一步操作可以将部分噪声去除，同时防止模型过拟合，增强模型的鲁棒性。在对数据在频域进行处理以后，为了保证傅里叶逆变换能够重构成原来的输入长度，需要在未被采集到的频率点补零，再通过傅里叶逆变换将其投影回时域。此外，注意力计算过程如下：
所述步骤2.2中的残差连接和归一化层是为了加速训练和提高模型性能而设计的。残差连接可以解决深度神经网络中的梯度消失问题，并且能够使得网络更容易地优化。在本发明中，除了解码器最后一个全连接层以外的每个子层都有一个残差连接，它将输入直接加到子层输出上，从而使得信息能够更好地流动。
具体来说，设x表示子层的输入，f(x)表示子层的输出，则残差连接的计算公式为：
Residual(,f)＝x+f()
归一化则是为了防止网络层数过多导致的数值不稳定问题，同时也可以加速训练。在本发明中采用了一种被称为Layer Normalization的方法进行归一化，其计算公式为：
其中，xi表示第i个特征，μ和σ分别表示平均值和标准差，∈是一个很小的数用于避免除以0的情况，γ和β是可学习的参数。
步骤2.3：如图2所示，在步骤2.2的编码器结构后构建两个并行的解码器结构，解码器由基于小波分解和傅里叶变换的频域增强的自注意力模块，残差连接和归一化层，全连接层和Softmax层构成。两个并行的解码器结构完全相同。同编码器相比，为了使模型结构更加灵活，在解码器端引入了额外的线性层，为解码器在生成目标序列时提供更丰富的表达能力；
步骤3：对步骤2所述基于对抗训练和频域改良自注意力机制的异常检测模型进行训练；
所述步骤3具体包含以下步骤：
步骤3.1：将经过步骤1处理的训练集中的子序列输入到步骤2中所描述的基于对抗训练和频域改良自注意力机制的多维时序数据异常检测模型中，通过两个解码器分别得到两个第一阶段的输出；
其中，O1,O2分别表示第一个解码器D1和第二个解码器D2在第一阶段的输出，是步骤2.1中所描述的拼接了0向量的附加了位置编码信息的原始输入数据。
步骤3.2：利用步骤3.1中所述的部分输出计算残差矩阵，并将其附加到输入的子序列中，再次输入到模型的编码器结构中，通过第二个解码器得到第二阶段训练的输出；
其中，||O1-Wt||2表示用步骤3.1中所述的D1的输出计算残差矩阵的过程，将其与附加了位置信息的输入的子序列进行拼接，替代掉步骤3.1中输入子序列拼接的0向量，仅通过D2得到第二阶段的输出
步骤3.3：用步骤3.1和步骤3.2得到的输出同输入的子序列进行最小化交叉熵损失函数的计算，更新模型参数。具体的损失函数如下：
其中：n是训练迭代次数，∈是一个趋近于1的训练参数。刚开始训练时，重构损失(公式的前半部分)的权重较高，这么做的原因是确保在训练初期，重构性能较差时能够保证训练的稳定性。如果重构阶段表现较差，第二阶段使用的残差矩阵将更加不可靠，因此这时不能用作第二阶段重构的先验。随着重构性能越来越好，生成的数据同原始数据越来越相似时，残差矩阵的可靠性大大提升，对抗损失(公式的后半部分)的权重相应增加。由于深度神经网络训练过程中的损失曲线通常遵循指数分布，本发明将迭代次数的相反数作为的指数体现在损失函数中。
步骤4：将待检测的时序数据输入到经过步骤3训练的模型中，进行异常判定：
所述步骤4具体包含以下步骤：
步骤4.1：将经过步骤1处理的测试集中的子序列依次输入到模型中，经过步骤3.1和步骤3.2两个阶段得到该输入子序列所对应的三个输出O1,O2和
步骤4.2：应用步骤4.1得到的输出计算异常分数：
式中s表示本次输入的异常得分。前后两项对应着步骤3.3中的损失函数，在训练完成后，两个解码器都有良好的重构性能，因此这时平等的考虑它们在两个阶段的贡献，异常分数的计算过程中将它们的权值分别赋值为1/2。
步骤4.3：通过阈值选择算法结合步骤4.2中得到的异常分数对当前输入子序列进行异常判定。本发明选择使用POT阈值选择算法，若异常分数高于算法计算出的特定的数值，则将输入子序列判定为异常数据，否则判定为正常数据；
所述步骤4.3中，本发明选择使用python的函数库SPOT来实现POT阈值选择算法的计算过程。详细计算步骤如下：
步骤4.3.1：运行SPOT中的fit()方法用于将训练集的异常分数和测试集的异常分数导入；
步骤4.3.2：运行SPOT中的initialize()方法，根据一个给定的概率水平值和一些其他参数来初始化POT方法；
步骤4.3.3：在步骤4.3.2所描述的初始化过程之后，运行run()方法以执行POT方法，并返回一个包含性能指标和预测标签的字典。其中，thresholds表示计算得到的阈值，alarms表示异常标记；
步骤4.3.4：将thresholds中的值求平均并乘以一个系数即可得到最终的阈值；
所述步骤4中，若判定当前输入的子序列为异常，线上系统进行报警提醒；
以上对本发明所提出的基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法进行了详细介绍，本文中应用具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法，其特征在于，所述方法包括以下步骤：
步骤1：获取原始数据集并进行预处理；
步骤2：构建基于对抗训练和频域改良自注意力机制的异常检测模型；
步骤3：对步骤2所述基于对抗训练和频域改良自注意力机制的异常检测模型进行训练；
步骤4：将待检测的时序数据输入到经过步骤3训练后的模型中，进行异常判定。
2.根据权利要求1所述的基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法，其特征在于，所述步骤1包括以下步骤：
步骤1.1：将所述原始数据集划分为训练集和测试集；
步骤1.2：定义一个滑动窗口，滑动步长设定为1，根据所述原始数据集设定窗口大小；
步骤1.3：将所述滑动窗口在所述原始数据集上滑动，将每次滑动窗口内的数据划分为一个定长的子序列；
步骤1.4：将步骤1.3中划分得到的子序列保存在集合中，用于模型训练的输入。
3.根据权利要求2所述的基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法，其特征在于，所述滑动窗口为含有固定长度时间点的连续的时间序列数据。
4.根据权利要求2所述的基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法，其特征在于，所述滑动步长为所述滑动窗口在原始数据集上每一次移动的距离。
5.根据权利要求2所述的方法，其特征在于，所述步骤2包括以下步骤：
步骤2.1：构建位置编码层，计算输入子序列的位置编码信息，并将其附加到输入中；
步骤2.2：构建编码器结构，编码器结构由基于小波分解和傅里叶变换的频域增强的自注意力模块，残差链接和归一化和全连接神经网络串联构成；
步骤2.3：构建两个并行的解码器结构，解码器结构由基于小波分解和傅里叶变换的频域增强的自注意力模块，残差连接和归一化层，全连接层和Softmax层构成。
6.根据权利要求3所述的方法，其特征在于，所述步骤3包括以下步骤：
步骤3.1：将经过步骤1处理的训练集中的子序列输入到步骤2中的基于对抗训练和频域改良自注意力机制的多维时序数据异常检测模型中，通过所述两个并行的解码器结构分别得到两个第一阶段的输出；
步骤3.2：利用步骤3.1中所述的输出计算残差矩阵，并将其附加到输入的子序列中，再次输入到模型的编码器结构中，通过第二个解码器得到第二阶段训练的输出；
步骤3.3：用步骤3.1和步骤3.2得到的输出和输入的子序列进行最小化交叉熵损失函数的计算，更新模型参数。
7.根据权利要求4所述的方法，其特征在于，所述步骤4包括以下步骤：
步骤4.1：将经过步骤1处理的测试集中的子序列依次输入到模型中，经过步骤3.1和步骤3.2两个阶段得到该输入子序列所对应的三个输出；
步骤4.2：应用步骤4.1得到的输出计算异常分数；
步骤4.3：通过阈值选择算法结合步骤4.2中得到的异常分数对当前输入子序列进行异常判定。
8.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据权利要求1-7中任一项所述的基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行权利要求1-7中任一项所述的基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法。
10.基于对抗训练和频域改良自注意力机制的多维时序数据异常检测系统，其特征在于，所述系统包括：用于获取原始数据集并进行预处理的数据采集模块；用于构建基于对抗训练和频域改良自注意力机制的异常检测模型的建模模块；用于对所述基于对抗训练和频域改良自注意力机制的异常检测模型进行训练的训练模块；用于将待检测的时序数据输入到训练后的模型中进行异常判定的判定模块。
CN202310447016.6A 2023-04-24 2023-04-24 基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法、设备及介质 Pending CN116502164A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310447016.6A CN116502164A (zh) 2023-04-24 2023-04-24 基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310447016.6A CN116502164A (zh) 2023-04-24 2023-04-24 基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法、设备及介质

Publications (1)

Publication Number Publication Date
CN116502164A true CN116502164A (zh) 2023-07-28

Family

ID=87317734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310447016.6A Pending CN116502164A (zh) 2023-04-24 2023-04-24 基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法、设备及介质

Country Status (1)

Country Link
CN (1) CN116502164A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117076936A (zh) * 2023-10-16 2023-11-17 北京理工大学 一种基于多头注意力模型的时序数据异常检测方法
CN117370919A (zh) * 2023-12-08 2024-01-09 吉林省拓达环保设备工程有限公司 污水处理设备远程监控系统
CN117390568A (zh) * 2023-12-11 2024-01-12 东北大学 基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117076936A (zh) * 2023-10-16 2023-11-17 北京理工大学 一种基于多头注意力模型的时序数据异常检测方法
CN117370919A (zh) * 2023-12-08 2024-01-09 吉林省拓达环保设备工程有限公司 污水处理设备远程监控系统
CN117370919B (zh) * 2023-12-08 2024-03-01 吉林省拓达环保设备工程有限公司 污水处理设备远程监控系统
CN117390568A (zh) * 2023-12-11 2024-01-12 东北大学 基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法
CN117390568B (zh) * 2023-12-11 2024-03-01 东北大学 基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法

Similar Documents

Publication Publication Date Title
CN116502164A (zh) 基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法、设备及介质
CN112784965B (zh) 面向云环境下大规模多元时间序列数据异常检测方法
CN109492193B (zh) 基于深度机器学习模型的异常网络数据生成与预测方法
Yu Adaptive hidden Markov model-based online learning framework for bearing faulty detection and performance degradation monitoring
CN111241744B (zh) 一种基于双向lstm的低压铸造机时间序列数据异常检测方法
CN109146246B (zh) 一种基于自动编码器和贝叶斯网络的故障检测方法
CN111914873A (zh) 一种两阶段云服务器无监督异常预测方法
CN103514398A (zh) 一种实时在线日志检测方法及系统
CN112257263B (zh) 基于自注意力机制的设备剩余寿命预测系统
CN115484102A (zh) 一种面向工业控制系统的异常检测系统和方法
CN112559598B (zh) 一种基于图神经网络的遥测时序数据异常检测方法及系统
CN117290800B (zh) 一种基于超图注意力网络的时序异常检测方法及系统
CN111967508A (zh) 基于显著图的时间序列异常点检测方法
CN117131110B (zh) 一种基于关联分析的容性设备介质损耗监测方法及系统
CN115169430A (zh) 基于多尺度解码的云网端资源多维时间序列异常检测方法
CN116993537A (zh) 一种基于串行gru自编码器的电力负荷异常检测方法及系统
Liu et al. A novel health prognosis method for system based on improved degenerated Hidden Markov model
WO2023231374A1 (zh) 机械设备半监督故障检测分析方法、装置、终端及介质
CN116127391A (zh) 一种基于多变量时序数据重构确定异常的方法
Wang et al. A deep learning based health index construction method with contrastive learning
CN113988259B (zh) 基于vae-gru的火电机组运行参数的实时异常检测方法
JP2023133231A (ja) ネットワーク内のインフラストラクチャのデバイスによって生成された時系列データにおける異常を検出するための方法
CN116226770A (zh) 一种时间序列数据异常检测方法及装置
CN115758273A (zh) 一种时序数据异常检测方法、装置、设备及介质
CN113642407B (zh) 一种适用于轴承剩余使用寿命预测的特征提取优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination