CN116757533A - 一种工业设备异常检测方法及相关装置 - Google Patents

一种工业设备异常检测方法及相关装置 Download PDF

Info

Publication number
CN116757533A
CN116757533A CN202310698676.1A CN202310698676A CN116757533A CN 116757533 A CN116757533 A CN 116757533A CN 202310698676 A CN202310698676 A CN 202310698676A CN 116757533 A CN116757533 A CN 116757533A
Authority
CN
China
Prior art keywords
matrix
stage
reconstruction
score
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310698676.1A
Other languages
English (en)
Inventor
章军辉
闫飞
王静贤
董接莲
陈明亮
陈大鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Internet Of Things Innovation Center Co ltd
Original Assignee
Wuxi Internet Of Things Innovation Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Internet Of Things Innovation Center Co ltd filed Critical Wuxi Internet Of Things Innovation Center Co ltd
Priority to CN202310698676.1A priority Critical patent/CN116757533A/zh
Publication of CN116757533A publication Critical patent/CN116757533A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Educational Administration (AREA)
  • Computational Mathematics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Game Theory and Decision Science (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种工业设备异常检测方法及相关装置，涉及工业设备监测技术领域，包括提取存疑数据，并根据存疑数据构建输入矩阵；通过双阶段的Transformer模型对输入矩阵进行预处理；其中，对输入矩阵进行预处理包括合并输入矩阵与关注矩阵；第一阶段的关注矩阵与第二阶段的关注矩阵不同；通过Transformer模型的编码器与解码器处理经预处理得到的矩阵，得到第一阶段与第二阶段的重构输出；根据第一阶段与第二阶段的重构输出计算得到重构误差，并根据重构误差确定异常分数；确定异常阈值，根据异常分数与异常阈值，得到检测结果。该方法能够准确检测工业设备是否异常，并且对对抗样本有较强的鲁棒表达能力。

Description

一种工业设备异常检测方法及相关装置
技术领域
本申请涉及工业设备监测技术领域，特别涉及一种工业设备异常检测方法；还涉及一种工业设备异常检测装置、设备以及计算机可读存储介质。
背景技术
工业设备具有运行时间长、运维成本高、运维效率低等特点，有效监测工业设备全生命周期的运行状态，及时发现潜在异常尤为关键。由于工业生产过程中难以获取带有确定性异常的工业数据，因此基于无监督学习的异常检测技术日益受到青睐。传统的异常检测技术的检测准确性不高。因此提供一种能够准确检测工业设备异常的技术方案已成为本领域技术人员亟待解决的技术问题。
发明内容
本申请的目的是提供一种工业设备异常检测方法，能够准确检测工业设备是否异常，并且对对抗样本有较强的鲁棒表达能力。本申请的另一个目的是提供一种工业设备异常检测装置、设备以及计算机可读存储介质，均具有上述技术效果。
为解决上述技术问题，本申请提供了一种工业设备异常检测方法，包括：
提取存疑数据，并根据所述存疑数据构建输入矩阵；
通过双阶段的Transformer模型对所述输入矩阵进行预处理；其中，对所述输入矩阵进行预处理包括合并所述输入矩阵与关注矩阵；第一阶段的所述关注矩阵与第二阶段的所述关注矩阵不同；
通过所述Transformer模型的编码器与解码器处理经预处理得到的矩阵，得到第一阶段与第二阶段的重构输出；
根据第一阶段与第二阶段的重构输出计算得到重构误差，并根据所述重构误差确定异常分数；
确定异常阈值，根据所述异常分数与所述异常阈值，得到检测结果。
可选的，所述通过双阶段的Transformer模型对所述输入矩阵进行预处理还包括：
对时间序列进行滑窗处理，得到多个窗口矩阵；所述时间序列包括多个所述输入矩阵；
在合并所述窗口矩阵与所述关注矩阵后，对合并得到的矩阵进行位置编码，得到位置矩阵，以通过所述Transformer模型处理所述位置矩阵。
可选的，所述根据第一阶段与第二阶段的重构输出计算得到重构误差包括：
根据所述第一阶段的重构输出与所述第二阶段的重构输出，分别计算得到多元特征的重构误差与一元特征的重构误差。
可选的，所述根据所述重构误差确定异常分数包括：
根据所述多元特征的重构误差确定多元特征的异常分数；
根据所述一元特征的重构误差确定一元特征的异常分数。
可选的，所述确定异常阈值包括：
根据所述一元特征的异常分数与极值指标，通过POT模型估计得到一元特征的异常阈值；
根据各所述一元特征的异常阈值，计算得到多元特征的异常阈值。
可选的，所述根据所述异常分数与所述异常阈值，得到检测结果包括：
若所述多元特征的异常分数超出所述多元特征的异常阈值，则判定所述设备异常。
可选的，所述Transformer模型采用因果型多头自注意力机制，且计算上下文矩阵包括：
将查询矩阵的第奇数个查询向量依次与键矩阵的转置的奇数项向量相乘，得到注意力分数矩阵的第奇数行的第一类数据，将所述查询矩阵的第偶数个查询向量依次与所述键矩阵的转置的偶数项相乘，得到所述注意力分数矩阵的第偶数行的第二类数据，将所述注意力分数矩阵各行中的第二类数据置为负无穷，直到遍历完所述查询矩阵的查询向量，得到所述注意力分数矩阵；
对所述注意力分数矩阵中的非负无穷项进行归一化处理，并将所述负无穷项置为零，得到权重矩阵；
将所述权重矩阵与值矩阵相乘，得到所述上下文矩阵。
为解决上述技术问题，本申请还提供了一种工业设备异常检测装置，包括：
提取模块，用于提取存疑数据，并根据所述存疑数据构建输入矩阵；
预处理模块，用于通过双阶段的Transformer模型对所述输入矩阵进行预处理；其中，对所述输入矩阵进行预处理包括合并所述输入矩阵与关注矩阵；第一阶段的所述关注矩阵与第二阶段的所述关注矩阵不同；
重构模块，用于通过所述Transformer模型的编码器与解码器处理经预处理得到的矩阵，得到第一阶段与第二阶段的重构输出；
计算模块，用于根据第一阶段与第二阶段的重构输出计算得到重构误差，并根据所述重构误差确定异常分数；
确定模块，用于确定异常阈值，并根据所述异常分数与所述异常阈值，得到检测结果。
为解决上述技术问题，本申请还提供了一种工业设备异常检测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述的工业设备异常检测方法的步骤。
为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的工业设备异常检测方法的步骤。
本申请所提供的工业设备异常检测方法，包括：提取存疑数据，并根据所述存疑数据构建输入矩阵；通过双阶段的Transformer模型对所述输入矩阵进行预处理；其中，对所述输入矩阵进行预处理包括合并所述输入矩阵与关注矩阵；第一阶段的所述关注矩阵与第二阶段的所述关注矩阵不同；通过所述Transformer模型的编码器与解码器处理经预处理得到的矩阵，得到第一阶段与第二阶段的重构输出；根据第一阶段与第二阶段的重构输出计算得到重构误差，并根据所述重构误差确定异常分数；确定异常阈值，根据所述异常分数与所述异常阈值，得到检测结果。
可见，本申请所提供的工业设备异常检测方法，通过双阶段的Transformer模型对存疑数据进行重构，并根据重构误差来判定设备是否异常，如此可以准确检测出设备是否异常。另外，本申请采取双阶段的对抗训练，能够有效提升模型对对抗样本的鲁棒表达能力。
本申请所提供的工业设备异常检测装置、设备以及计算机可读存储介质均具有上述技术效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种工业设备异常检测方法的流程示意图；
图2为本申请实施例所提供的一种工业设备异常检测实现框图；
图3为本申请实施例所提供的一种多头注意力示意图；
图4为本申请实施例所提供的一种快速近似多头注意力计算示意图；
图5为本申请实施例所提供的一种工业设备异常检测装置的示意图；
图6为本申请实施例所提供的一种工业设备异常检测设备的示意图。
具体实施方式
本申请的核心是提供一种工业设备异常检测方法，能够准确检测工业设备是否异常，并且对对抗样本有较强的鲁棒表达能力。本申请的另一个核心是提供一种工业设备异常检测装置、设备以及计算机可读存储介质，均具有上述技术效果。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种工业设备异常检测方法的流程示意图，参考图1所示，该方法包括：
S101：提取存疑数据，并根据所述存疑数据构建输入矩阵；
为了减少不必要的冗余计算，提高检测效率，可以基于先验知识库对采集的工业时序数据中可能异常的数据进行标识与提取。可能异常的数据即存疑数据。进一步，还可以对存疑数据进行归一化处理。根据归一化处理后的存疑数据构建输入矩阵。输入矩阵表示如下：
输入矩阵包括M个特征或变量。
S102：通过双阶段的Transformer模型对所述输入矩阵进行预处理；其中，对所述输入矩阵进行预处理包括合并所述输入矩阵与关注矩阵；第一阶段的所述关注矩阵与第二阶段的所述关注矩阵不同；
传统的Encoder-Decoder模型难以获取short-term的趋势，会错过一些偏差较小的异常。另外，由于在对抗训练过程中，样本会被混合一些微小的扰动，以便让神经网络适应这种扰动，从而对对抗样本具有鲁棒性。为此本实施例引入对抗训练，创建双阶段的L深度的Transformer模型，以此Transformer模型作为重构模型对时序输入进行重构。预先可以利用正常数据对Transformer模型进行重构训练，使其学习到正常数据之间长短时依赖性和多特征相关性，以便利用Transformer模型找出与正常数据偏离较大而无法被有效重构的异常事件。
在对抗训练过程中，为了使Transformer模型能够快速实现自我调节，本实施例定义了关注矩阵，利用关注矩阵进行预处理。关注矩阵表示如下：
式中，F为K×M维的关注矩阵，abs(·)表示对矩阵中的元素取绝对值，O1,t、O2,t分别表示阶段I在第t个时间步解码器1、解码器2的重构输出。
结合图2所示，在一些实施例中，所述通过双阶段的Transformer模型对所述输入矩阵进行预处理还包括：
对时间序列进行滑窗处理，得到多个窗口矩阵；所述时间序列包括多个所述输入矩阵；
在合并所述窗口矩阵与所述关注矩阵后，对合并得到的矩阵进行位置编码，得到位置矩阵，以通过所述Transformer模型处理所述位置矩阵。
双阶段顾名思义包括两个阶段，即第一阶段与第二阶段。第一阶段与第二阶段的不同仅在于预处理时关注矩阵不同，因此，下文以第一阶段(阶段I)为例进行阐述。
为了提升重构模型的鲁棒能力，对时间序列进行滑窗处理，得到T个窗口矩阵。时间序列表示为：X＝{x1,x2,...,xt,...,xT}T，其中，T为时间序列长度，即包含的输入矩阵的个数。窗口矩阵表示为：式中，Wt＝{xt-K+1,xt-K,...,xt}T，t∈[1,T]，其中，Wt为K×M维的窗口矩阵，K为可调窗口长度。特殊地，对于Wt来说，当t＜K时，用xt来填充。
由于滑窗处理会耗费大量的存储开销，且窗口长度越短所耗内存越大。对于实时流处理场景来说，滑窗处理会一定程度上影响在线实时检测效果，甚至会越来越滞后。另外，设备异常状态具有一定的持续性，因此可以根据检测结果动态调整滑窗窗口长度K，以便能够较好地兼顾异常检测的实时性与重构模型的鲁棒性。
由于Transformer模型没有类似RNN的循环结构，不能捕捉输入序列的位置信息，为此本实施例采用PE(Positional Embedding，位置编码)编码对输入序列进行位置编码，使得Transformer模型能够提取时序位置信息。PE编码格式为：
式中，pos为时序位置，pos∈[1,K]， 为升维处理后的特征数，且 表示向下取整运算。经PE编码后，得到位置矩阵P＝{Ppos,i}K×2M。
S103：通过所述Transformer模型的编码器与解码器处理经预处理得到的矩阵，得到第一阶段与第二阶段的重构输出；
编码器包含L层级联编码器单元，每层编码器单元的结构相同，参数不共享。前一层编码器单元的输出作为当前编码器单元的输入。编码器单元的处理过程如下：
式中，LayerNorm(·)表示残差连接与层归一化操作，CausalMultiHeadAttention(·)表示因果型多头自注意力，FFN(·)表示前馈神经网络，为编码器单元的中间输出，I1为K×2M维的编码器单元的输入矩阵，也是前一层的编码器单元的中间输出。特殊地，对于第一层编码器单元来说，/>其中，/>表示两个矩阵在特征维度上的合并，表示两个矩阵相同位置的元素相加。
残差连接就是把网络的输入和输出相加，即网络的输出为F(x)+x，在网络结构比较深的时候，网络梯度反向传播更新参数时，容易造成梯度消失的问题，若每层的输出都加上x时，相当于每一层求导时都加上了常数项“1”，从而可以有效解决梯度消失问题。
逐层进行了归一化，可以使得梯度传导的更稳定。
单头自注意力机制是通过点积运算得到输入序列在编码过程中各位置上的注意力权重。然而在对当前位置的信息进行编码时，会过度的将注意力集中于自身的位置。有鉴于此，本实施例采用多头自注意力机制，用于获取多个角度的上下文特征，有利于均衡同一种注意力机制可能产生的偏差。
参考图3所示，多头自注意力机制是从不同的角度去分析当前的输入信息。在点积计算时，为了确保系统输入与输出的“先后”关系，本实施例采用因果型多头自注意力机制，其数学描述为：
可以明白的是，h头注意力，是利用线性变换，将K×2M维Q、K、V降维成K×2M/h维，点积计算后，再拼接成K×2M维。
上式中，Q＝IWq为查询矩阵，K＝IWk为键矩阵，V＝IWv为值矩阵，I为输入矩阵，为第i个上下文矩阵，
其中，Softmax(·)表示归一化操作，为因果矩阵，其维度为size(QiKi T,2)×size(Vi,1)，Qi＝QWi q，Ki＝KWi k，Vi＝VWi v，Wq、Wk、Wv、Wi q、Wi k、Wi v皆为习得的线性变换系数矩阵。
为了提升计算效率，在一些实施例中，所述Transformer模型采用因果型多头自注意力机制，且计算上下文矩阵包括：
将查询矩阵的第奇数个查询向量依次与键矩阵的转置的奇数项向量相乘，得到注意力分数矩阵的第奇数行的第一类数据，将所述查询矩阵的第偶数个查询向量依次与所述键矩阵的转置的偶数项相乘，得到所述注意力分数矩阵的第偶数行的第二类数据，将所述注意力分数矩阵各行中的第二类数据置为负无穷，直到遍历完所述查询矩阵的查询向量，得到所述注意力分数矩阵；
对所述注意力分数矩阵中的非负无穷项进行归一化处理，并将所述负无穷项置为零，得到权重矩阵；
将所述权重矩阵与值矩阵相乘，得到所述上下文矩阵。
具体而言，传统的多头自注意力机制的时间和空间复杂度很大，在注意力计算过程中，由于经过点积计算QiKi T后，会使得不相关的特征向量相乘后的值很小，即当前时间步与这些数据之间的时间依赖性是完全可以忽略掉的。另外，考虑到工业设备状态数据具有较高的重复性、持续性，本实施例提出了一种快速近似多头注意力计算以提升计算效率。
结合图4所示，第i个上下文矩阵计算的步骤包括：
Step1：先将矩阵Qi的第一个查询向量依次与矩阵Ki T的奇数项向量相乘，得到第一行中的第一类数据，如图4中第一行灰色方块所示，并将第一行中第二类数据，如图4中所示的第一行白色方块全部置为-∞；
Step2：将矩阵Qi的第二个查询向量依次与矩阵Ki T的偶数项向量相乘，得到第二行中的第一类数据，如图4中灰色方块所示，并将第二行中的第二类数据，如图4中所示的第二行的白色方块全部置为-∞；
Step3：按照Step1～Step2，将剩余查询向量与矩阵Ki T中的向量相乘，直至遍历完矩阵Qi中的所有查询向量，得到第i个注意力分数矩阵；
Step4：对第i个注意力分数矩阵中的非-∞项进行Softmax(·)归一化处理，并直接将-∞项置为0，得到第i个归一化的注意力分数矩阵，即权重矩阵；
Step5：最后将第i个权重矩阵与Vi相乘，输出第i个上下文矩阵。
解码器包含一对L层级联的解码器单元，每层解码器单元的结构相同，参数不共享，前一层解码器单元的输出作为当前解码器单元的输入。其中，解码器单元的处理过程如下：
式中，d1、d2分别代表在阶段I中解码器1、解码器2的中间输出，I2为K×2M维的解码器单元的输入矩阵，也是前一层的解码器单元的中间输出。特殊地，对于第一层解码器单元来说，其中，Ot,ref是参考矩阵，考虑到是对抗训练，可选取窗口矩阵作为参考矩阵，即Ot,ref＝Wt。
经过解码器处理后，再送入全连接层、Softmax层，得到阶段I的重构矩阵：
Oi,t＝Softmax(Linear(di)),i∈[1,2]；
式中，Linear(·)表示全连接处理，经过Softmax(·)归一化处理后概率最高的会被输出，分别为阶段I在第t个时间步解码器1、解码器2的重构输出，其中/>
同理，得到阶段II的重构矩阵：
式中，为阶段II在第t个时间步解码器2的中间输出，/>为阶段II在第t个时间步解码器2的重构输出，其中/>
S104：根据第一阶段与第二阶段的重构输出计算得到重构误差，并根据所述重构误差确定异常分数；
重构误差用来量化原始输入与重构输出之间的差异。异常分数反映设备发生异常的可能性的大小。
在一些实施例中，所述根据第一阶段与第二阶段的重构输出计算得到重构误差包括：
根据所述第一阶段的重构输出与所述第二阶段的重构输出，分别计算得到多元特征的重构误差与一元特征的重构误差。
具体而言，多元特征的重构误差的计算方式如下：
式中，et为第t个时间步的多元特征的重构误差，Σi,t、皆为协方差矩阵，且满足：
一元特征的重构误差的计算方式如下：
式中，为第t个时间步的第i个特征的重构误差，M为特征个数，|·|表示取绝对值。
在一些实施例中，所述根据所述重构误差确定异常分数包括：
根据所述多元特征的重构误差确定多元特征的异常分数；
根据所述一元特征的重构误差确定一元特征的异常分数。
具体而言，多元特征的异常分数的计算方式如下：
式中，βt,score为多元特征的异常分数，Φ(·)为累计分布函数，μi、σi分别为第i个特征的经验均值、经验标准差。
一元特征的异常分数的计算方式如下：
式中，为第i个特征的异常分数。
S105：确定异常阈值，根据所述异常分数与所述异常阈值，得到检测结果。
在一些实施例中，所述确定异常阈值包括：
根据所述一元特征的异常分数与极值指标，通过POT(Peak Over Threshold，峰值超过阈值)模型估计得到一元特征的异常阈值；
根据各所述一元特征的异常阈值，计算得到多元特征的异常阈值。
具体而言，本实施例基于POT模型分别对一元特征的异常阈值进行估计：
式中，为引入极值指标策略后的第i个特征的异常阈值，θi为第i个特征的极值指标，POT(·)表示动态异常阈值估计函数。
假定重构误差序列{e1,...,et,...,eT}具有相同的分布函数F(et)，且{e1,...,et,...,eT}相互独立。记μ为一个充分大的门限，若随机变量满足et＞μ时，则称et为超限值，y＝et-μ为超出量。根据EVT极值理论中的PBdH定理知，当门限μ充分大且et＞μ时，则条件超限分布Fμ(y)服从广义Pareto分布(General Pareto Distribution，GPD)，且满足：
式中，σ＞0为尺度参数，ξ是形状参数，是尾部指数。
选取极值门限μ：
在用GPD拟合超出量的分布时，极值门限μ对准确估计POT模型参数σ、ξ来说至关重要。当μ偏大时，筛选出的超出量个数较少，参数估计值的方差就会偏大；当μ偏小时，则不能保证条件超限分布Fμ(y)的收敛性，即不能满足PBdH定理的使用条件。
因此，可以采用样本平均超额函数法来选取极值门限μ。对于重构误差序列{e1,...,et,...,eT}，定义平均超额函数：
式中，Nμ为观测序列中超过极值门限μ的数据个数，k为某段异常样本的起始位置。根据平均超额函数曲线，能够较好地估计观测数据的尾部特征。当et≥μ时的δ(μ)函数曲线是向上倾斜时，说明形状参数ξ＞0，数据尾部为厚尾；当et≥μ时的δ(μ)函数曲线是向下倾斜时，说明形状参数ξ＜0，数据尾部为薄尾；当et≥μ时的δ(μ)函数曲线是相对水平的直线时，说明形状参数ξ＝0，数据服从指数分布。
所选的极值门限μ应满足：当et≥μ时，δ(μ)函数曲线近似为一条直线。
估计POT模型的参数：
可以采用极大似然法来估计参数σ、ξ，建立对数似然函数：
式中，fμ(y)＝Fμ′(y)为概率密度函数。
对上述对数似然函数分别关于参数σ和ξ进行求偏导，并令偏导数为零，便可求出估计值σ*、ξ*。
估计异常阈值：
在设备异常检测过程中，合理可靠的异常判断应满足：
给定一个置信水平q，存在一个判断阈值zq，使得P(et＞zq)≤q成立。
采用经验分布来描述F(μ)，则由条件概率公式整理得到F(et)的分布：
当et＞μ且阈值μ充分大时，则F(et)也近似服从GPD分布。
根据定义P(et＞zq)≤q，有1-F(et)≤q，经过化简求解可得：
式中，zq为异常阈值，q为置信水平。
可以将上述过程封装成一个数学模型：
zq＝POT(e1,...,et,...,eT)；
zq不是静态的，而是在线更新的即是动态的。
由于工业设备状态的时间序列往往不满足独立同分布条件，为此可以引入极值指标来处理平稳时间序列的相关性问题。其中，可以采用区组法来估计平稳时间序列的极值指标。具体而言，将时间序列划分为每组样本量为k的T/k组，且g＝[T/k]，则估计量满足：
式中，θ为极值指标，且0＜θ＜1，Gμ为各组最大值大于极值门限μ的组个数。
引入极值指标后，则再按照上述异常阈值估计方法，整理可得：
式中，为引入极值指标后的异常阈值。
可以对上述数学模型进行更新，得到最终用于估计异常阈值的POT模型：
基于极值指标确定异常阈值，可以有效增强异常检测对复杂工业现场环境的适应能力。
进一步，基于各个特征的异常阈值，得到多元特征的异常阈值：
式中，wi为设计参数，为多元特征的异常阈值。
在上述实施例的基础上，作为一种具体的实施方式，所述根据所述异常分数与所述异常阈值，得到检测结果包括：
若所述多元特征的异常分数超出所述多元特征的异常阈值，则判定所述设备异常。
具体而言，若则判定当前状态为异常；反之，则判定为正常。
进一步，还可以整理与记录异常检测过程中的异常事件、异常阈值、异常频次、起止时间、严重程度等，构建异常案例共享知识库。一方面可以用于数据预处理过程中的存疑数据精准标识，另一方面能够为工业设备异常检测提供宝贵的案例参考。
综上所述，本申请所提供的工业设备异常检测方法，通过双阶段的Transformer模型对存疑数据进行重构，并根据重构误差来判定设备是否异常，如此可以准确检测出设备是否异常。另外，本申请采取双阶段的对抗训练，能够有效提升模型对对抗样本的鲁棒表达能力。
本申请还提供了一种工业设备异常检测装置，下文描述的该装置可以与上文描述的方法相互对应参照。请参考图5，图5为本申请实施例所提供的一种工业设备异常检测装置的示意图，结合图5所示，该装置包括：
提取模块10，用于提取存疑数据，并根据所述存疑数据构建输入矩阵；
预处理模块20，用于通过双阶段的Transformer模型对所述输入矩阵进行预处理；其中，对所述输入矩阵进行预处理包括合并所述输入矩阵与关注矩阵；第一阶段的所述关注矩阵与第二阶段的所述关注矩阵不同；
重构模块30，用于通过所述Transformer模型的编码器与解码器处理经预处理得到的矩阵，得到第一阶段与第二阶段的重构输出；
计算模块40，用于根据第一阶段与第二阶段的重构输出计算得到重构误差，并根据所述重构误差确定异常分数；
确定模块50，用于确定异常阈值，并根据所述异常分数与所述异常阈值，得到检测结果。
在上述实施例的基础上，作为一种具体的实施方式，所述预处理模块20还用于：
对时间序列进行滑窗处理，得到多个窗口矩阵；所述时间序列包括多个所述输入矩阵；
在合并所述窗口矩阵与所述关注矩阵后，对合并得到的矩阵进行位置编码，得到位置矩阵，以通过所述Transformer模型处理所述位置矩阵。
在上述实施例的基础上，作为一种具体的实施方式，计算模块40具体用于：
根据所述第一阶段的重构输出与所述第二阶段的重构输出，分别计算得到多元特征的重构误差与一元特征的重构误差。
在上述实施例的基础上，作为一种具体的实施方式，所述计算模块40包括：
第一确定单元，用于根据所述多元特征的重构误差确定多元特征的异常分数；
第二确定单元，用于根据所述一元特征的重构误差确定一元特征的异常分数。
在上述实施例的基础上，作为一种具体的实施方式，所述确定模块50包括：
第一异常阈值确定单元，用于根据所述一元特征的异常分数与极值指标，通过POT模型估计得到一元特征的异常阈值；
第二异常阈值确定单元，用于根据各所述一元特征的异常阈值，计算得到多元特征的异常阈值。
在上述实施例的基础上，作为一种具体的实施方式，所述确定模块20具体用于：
若所述多元特征的异常分数超出所述多元特征的异常阈值，则判定所述设备异常。
在上述实施例的基础上，作为一种具体的实施方式，所述Transformer模型采用因果型多头自注意力机制，且计算上下文矩阵包括：
将查询矩阵的第奇数个查询向量依次与键矩阵的转置的奇数项向量相乘，得到注意力分数矩阵的第奇数行的第一类数据，将所述查询矩阵的第偶数个查询向量依次与所述键矩阵的转置的偶数项相乘，得到所述注意力分数矩阵的第偶数行的第二类数据，将所述注意力分数矩阵各行中的第二类数据置为负无穷，直到遍历完所述查询矩阵的查询向量，得到所述注意力分数矩阵；
对所述注意力分数矩阵中的非负无穷项进行归一化处理，并将所述负无穷项置为零，得到权重矩阵；
将所述权重矩阵与值矩阵相乘，得到所述上下文矩阵。
本申请还提供了一种工业设备异常检测设备，参考图6所示，该设备包括存储器1和处理器2。
存储器1，用于存储计算机程序；
处理器2，用于执行计算机程序实现如下的步骤：
提取存疑数据，并根据所述存疑数据构建输入矩阵；通过双阶段的Transformer模型对所述输入矩阵进行预处理；其中，对所述输入矩阵进行预处理包括合并所述输入矩阵与关注矩阵；第一阶段的所述关注矩阵与第二阶段的所述关注矩阵不同；通过所述Transformer模型的编码器与解码器处理经预处理得到的矩阵，得到第一阶段与第二阶段的重构输出；根据第一阶段与第二阶段的重构输出计算得到重构误差，并根据所述重构误差确定异常分数；确定异常阈值，根据所述异常分数与所述异常阈值，得到检测结果。
对于本申请所提供的设备的介绍请参照上述方法实施例，本申请在此不做赘述。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下的步骤：
提取存疑数据，并根据所述存疑数据构建输入矩阵；通过双阶段的Transformer模型对所述输入矩阵进行预处理；其中，对所述输入矩阵进行预处理包括合并所述输入矩阵与关注矩阵；第一阶段的所述关注矩阵与第二阶段的所述关注矩阵不同；通过所述Transformer模型的编码器与解码器处理经预处理得到的矩阵，得到第一阶段与第二阶段的重构输出；根据第一阶段与第二阶段的重构输出计算得到重构误差，并根据所述重构误差确定异常分数；确定异常阈值，根据所述异常分数与所述异常阈值，得到检测结果。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请所提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备以及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的工业设备异常检测方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围。

Claims (10)

1.一种工业设备异常检测方法，其特征在于，包括：
提取存疑数据，并根据所述存疑数据构建输入矩阵；
通过双阶段的Transformer模型对所述输入矩阵进行预处理；其中，对所述输入矩阵进行预处理包括合并所述输入矩阵与关注矩阵；第一阶段的所述关注矩阵与第二阶段的所述关注矩阵不同；
通过所述Transformer模型的编码器与解码器处理经预处理得到的矩阵，得到第一阶段与第二阶段的重构输出；
根据第一阶段与第二阶段的重构输出计算得到重构误差，并根据所述重构误差确定异常分数；
确定异常阈值，根据所述异常分数与所述异常阈值，得到检测结果。
2.根据权利要求1所述的工业设备异常检测方法，其特征在于，所述通过双阶段的Transformer模型对所述输入矩阵进行预处理还包括：
对时间序列进行滑窗处理，得到多个窗口矩阵；所述时间序列包括多个所述输入矩阵；
在合并所述窗口矩阵与所述关注矩阵后，对合并得到的矩阵进行位置编码，得到位置矩阵，以通过所述Transformer模型处理所述位置矩阵。
3.根据权利要求1所述的工业设备异常检测方法，其特征在于，所述根据第一阶段与第二阶段的重构输出计算得到重构误差包括：
根据所述第一阶段的重构输出与所述第二阶段的重构输出，分别计算得到多元特征的重构误差与一元特征的重构误差。
4.根据权利要求3所述的工业设备异常检测方法，其特征在于，所述根据所述重构误差确定异常分数包括：
根据所述多元特征的重构误差确定多元特征的异常分数；
根据所述一元特征的重构误差确定一元特征的异常分数。
5.根据权利要求3所述的工业设备异常检测方法，其特征在于，所述确定异常阈值包括：
根据所述一元特征的异常分数与极值指标，通过POT模型估计得到一元特征的异常阈值；
根据各所述一元特征的异常阈值，计算得到多元特征的异常阈值。
6.根据权利要求5所述的工业设备异常检测方法，其特征在于，所述根据所述异常分数与所述异常阈值，得到检测结果包括：
若所述多元特征的异常分数超出所述多元特征的异常阈值，则判定所述设备异常。
7.根据权利要求1所述的工业设备异常检测方法，其特征在于，所述Transformer模型采用因果型多头自注意力机制，且计算上下文矩阵包括：
将查询矩阵的第奇数个查询向量依次与键矩阵的转置的奇数项向量相乘，得到注意力分数矩阵的第奇数行的第一类数据，将所述查询矩阵的第偶数个查询向量依次与所述键矩阵的转置的偶数项相乘，得到所述注意力分数矩阵的第偶数行的第二类数据，将所述注意力分数矩阵各行中的第二类数据置为负无穷，直到遍历完所述查询矩阵的查询向量，得到所述注意力分数矩阵；
对所述注意力分数矩阵中的非负无穷项进行归一化处理，并将所述负无穷项置为零，得到权重矩阵；
将所述权重矩阵与值矩阵相乘，得到所述上下文矩阵。
8.一种工业设备异常检测装置，其特征在于，包括：
提取模块，用于提取存疑数据，并根据所述存疑数据构建输入矩阵；
预处理模块，用于通过双阶段的Transformer模型对所述输入矩阵进行预处理；其中，对所述输入矩阵进行预处理包括合并所述输入矩阵与关注矩阵；第一阶段的所述关注矩阵与第二阶段的所述关注矩阵不同；
重构模块，用于通过所述Transformer模型的编码器与解码器处理经预处理得到的矩阵，得到第一阶段与第二阶段的重构输出；
计算模块，用于根据第一阶段与第二阶段的重构输出计算得到重构误差，并根据所述重构误差确定异常分数；
确定模块，用于确定异常阈值，并根据所述异常分数与所述异常阈值，得到检测结果。
9.一种工业设备异常检测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的工业设备异常检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的工业设备异常检测方法的步骤。
CN202310698676.1A 2023-06-13 2023-06-13 一种工业设备异常检测方法及相关装置 Pending CN116757533A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310698676.1A CN116757533A (zh) 2023-06-13 2023-06-13 一种工业设备异常检测方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310698676.1A CN116757533A (zh) 2023-06-13 2023-06-13 一种工业设备异常检测方法及相关装置

Publications (1)

Publication Number Publication Date
CN116757533A true CN116757533A (zh) 2023-09-15

Family

ID=87950862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310698676.1A Pending CN116757533A (zh) 2023-06-13 2023-06-13 一种工业设备异常检测方法及相关装置

Country Status (1)

Country Link
CN (1) CN116757533A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117390568A (zh) * 2023-12-11 2024-01-12 东北大学 基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117390568A (zh) * 2023-12-11 2024-01-12 东北大学 基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法
CN117390568B (zh) * 2023-12-11 2024-03-01 东北大学 基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法

Similar Documents

Publication Publication Date Title
CN114297936A (zh) 一种数据异常检测方法及装置
CN111353373B (zh) 一种相关对齐域适应故障诊断方法
CN112101400A (zh) 工业控制系统异常检测方法、设备和服务器、存储介质
CN113705809B (zh) 一种数据预测模型训练方法、工业指标预测方法和装置
CN116757533A (zh) 一种工业设备异常检测方法及相关装置
CN111447217A (zh) 一种稀疏编码下的基于htm的流数据异常检测方法及系统
CN116522265A (zh) 工业互联网时序数据异常检测方法及装置
CN114662788A (zh) 一种海水水质三维时空序列多参数精准预测方法及系统
Shajihan et al. CNN based data anomaly detection using multi-channel imagery for structural health monitoring
CN117150402A (zh) 基于生成式对抗网络的电力数据异常检测方法及模型
CN111104241A (zh) 基于自编码器的服务器内存异常检测方法、系统及设备
CN115587335A (zh) 异常值检测模型的训练方法、异常值检测方法及系统
CN117034003A (zh) 航空航天重大产品制造装备的全生命周期自适应故障诊断方法、系统、设备及介质
Xiu et al. Deep canonical correlation analysis using sparsity-constrained optimization for nonlinear process monitoring
Gao et al. A novel fault detection model based on vector quantization sparse autoencoder for nonlinear complex systems
CN117113139A (zh) 故障检测模型的训练方法、装置、计算机设备和存储介质
CN116680639A (zh) 一种基于深度学习的深海潜水器传感器数据的异常检测方法
Yu et al. A hybrid learning-based model for on-line monitoring and diagnosis of out-of-control signals in multivariate manufacturing processes
CN115758273A (zh) 一种时序数据异常检测方法、装置、设备及介质
Kim Time-series dimensionality reduction via Granger causality
CN114972871A (zh) 基于图像配准的少样本图像异常检测方法及系统
Lu et al. Weak monotonicity with trend analysis for unsupervised feature evaluation
CN116700213B (zh) 基于门控循环单元的工业设备异常检测方法及相关装置
Xu et al. Kernel Two‐Dimensional Nonnegative Matrix Factorization: A New Method to Target Detection for UUV Vision System
CN116738170B (zh) 一种工业设备的异常分析方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination