CN116662811B - 一种工业设备的时序状态数据重构方法及相关装置 - Google Patents

一种工业设备的时序状态数据重构方法及相关装置 Download PDF

Info

Publication number
CN116662811B
CN116662811B CN202310700161.0A CN202310700161A CN116662811B CN 116662811 B CN116662811 B CN 116662811B CN 202310700161 A CN202310700161 A CN 202310700161A CN 116662811 B CN116662811 B CN 116662811B
Authority
CN
China
Prior art keywords
reconstruction
transducer model
data
processing
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310700161.0A
Other languages
English (en)
Other versions
CN116662811A (zh
Inventor
章军辉
付宗杰
顾煜帆
董接莲
陈明亮
庄宝森
陈大鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Internet Of Things Innovation Center Co ltd
Original Assignee
Wuxi Internet Of Things Innovation Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Internet Of Things Innovation Center Co ltd filed Critical Wuxi Internet Of Things Innovation Center Co ltd
Priority to CN202310700161.0A priority Critical patent/CN116662811B/zh
Publication of CN116662811A publication Critical patent/CN116662811A/zh
Application granted granted Critical
Publication of CN116662811B publication Critical patent/CN116662811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Complex Calculations (AREA)

Abstract

本申请公开了一种工业设备的时序状态数据重构方法及相关装置，涉及工业设备异常检测技术领域，包括：构建Transformer模型；Transformer模型的编码器包括多层编码器单元，Transformer模型的解码器包括多层解码器单元；训练Transformer模型；提取工业设备的存疑数据，并根据存疑数据构建多元时间序列；对多元时间序列进行预处理，得到重构对象；通过训练好的Transformer模型处理重构对象，得到重构结果。该方法能够快速可靠的进行数据重构，有利于进一步基于重构数据进行工业设备异常检测，提升工业设备异常检测的效率。

Description

一种工业设备的时序状态数据重构方法及相关装置
技术领域
本申请涉及工业设备异常检测技术领域，特别涉及一种工业设备的时序状态数据重构方法；还涉及一种工业设备的时序状态数据重构装置、设备以及计算机可读存储介质。
背景技术
为了及时发现工业设备的潜在异常，排查隐性故障，提高生产效率，降低运维成本，在工业设备异常检测时，可以首先进行数据重构，进而根据重构结果来判断工业设备是否异常。数据重构的速度无疑关乎设备整体的异常检测速度。同时，数据重构的可靠性直接影响设备整体的异常检测可靠性。因此，提供一种能够快速可靠的数据重构方案已成为本领域技术人员亟待解决的技术问题。
发明内容
本申请的目的是提供一种工业设备的时序状态数据重构方法，能够快速可靠的重构工业时序数据，有利于工业设备异常检测。本申请的另一个目的是提供一种工业设备的时序状态数据重构装置、设备以及计算机可读存储介质，均具有上述技术效果。
为解决上述技术问题，本申请提供了一种工业设备的时序状态数据重构方法，包括：
构建Transformer模型；所述Transformer模型的编码器包括多层编码器单元，所述Transformer模型的解码器包括多层解码器单元；
训练所述Transformer模型；
提取工业设备的存疑数据，并根据所述存疑数据构建多元时间序列；
对所述多元时间序列进行预处理，得到重构对象；
通过训练好的所述Transformer模型处理所述重构对象，得到重构结果。
可选的，所述训练所述Transformer模型包括：
采用元学习算法训练所述Transformer模型。
可选的，所述采用元学习算法训练所述Transformer模型包括：
随机初始化所述Transformer模型的权重参数；
载入训练序列并对所述训练序列进行滑窗处理，得到多个窗口矩阵；
处理所述窗口矩阵，更新各个所述权重参数。
可选的，所述更新各个所述权重参数包括：
根据更新所述权重参数；φ表示所述权重参数，α表示元学习的步长，/>表示梯度算子，/>表示代价函数，fφ表示网络模型，T表示所述窗口矩阵的个数。
可选的，对所述多元时间序列进行预处理，得到重构对象包括：
对所述多元时间序列进行滑窗处理，得到多个窗口矩阵；
对所述窗口矩阵进行PE编码，得到所述重构对象。
可选的，所述通过训练好的所述Transformer模型处理所述重构对象，得到重构结果包括：
通过所述Transformer模型的所述编码器与所述解码器处理所述重构对象，并对所述解码器的中间输出进行全连接处理与归一化处理得到所述重构结果；其中，通过所述编码器与所述解码器处理所述重构对象包括：进行注意力计算。
可选的，所述进行注意力计算包括：
构建不同的哈希函数，并利用所述哈希函数对query与key进行编码，得到哈希值，根据所述哈希值对query与key进行分桶，得到最优分桶方案；
根据所述最优分桶方案确定候选集；
计算查询数据与所述候选集中各数据的相似度，并返回最近的多个近邻；
在桶内对所述query与所述近邻进行点积计算，得到近似注意力。
为解决上述技术问题，本申请还提供了一种工业设备的时序状态数据重构装置，包括：
构建模块，用于构建Transformer模型；所述Transformer模型的编码器包括多层编码器单元，所述Transformer模型的解码器包括多层解码器单元；
训练模块，用于训练所述Transformer模型；
提取模块，用于提取工业设备的存疑数据，并根据所述存疑数据构建多元时间序列；
预处理模块，用于对所述多元时间序列进行预处理，得到重构对象；
重构模块，用于通过训练好的所述Transformer模型处理所述重构对象，得到重构结果。
为解决上述技术问题，本申请还提供了一种工业设备的时序状态数据重构设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述的工业设备的时序状态数据重构方法的步骤。
为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的工业设备的时序状态数据重构方法的步骤。
本申请所提供的工业设备的时序状态数据重构方法，包括：构建Transformer模型；所述Transformer模型的编码器包括多层编码器单元，所述Transformer模型的解码器包括多层解码器单元；训练所述Transformer模型；提取工业设备的存疑数据，并根据所述存疑数据构建多元时间序列；对所述多元时间序列进行预处理，得到重构对象；通过训练好的所述Transformer模型处理所述重构对象，得到重构结果。
可见，本申请所提供的工业设备的时序状态数据重构方法，提取的是存疑数据不包含正常数据，并对基于存疑数据构建的多元时间序列进行数据重构，如此在数据重构过程中可以减少大量的不必要的计算，从而加快数据重构速度。另外，本申请构建并训练多层的Transformer模型，利用训练好的多层的Transformer模型进行数据重构，能够提高数据重构的可靠性，有利于进一步基于重构数据进行工业设备异常检测，提升工业设备异常检测的效率。
本申请所提供的工业设备的时序状态数据重构装置、设备以及计算机可读存储介质均具有上述技术效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种工业设备的时序状态数据重构方法的流程示意图；
图2为本申请实施例所提供的一种工业设备的时序状态数据重构实现框图；
图3为本申请实施例所提供的一种工业设备的时序状态数据重构装置的示意图；
图4为本申请实施例所提供的一种工业设备的时序状态数据重构设备的示意图。
具体实施方式
本申请的核心是提供一种工业设备的时序状态数据重构方法，能够快速可靠的重构工业时序数据，有利于工业设备异常检测。本申请的另一个核心是提供一种工业设备的时序状态数据重构装置、设备以及计算机可读存储介质，均具有上述技术效果。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种工业设备的时序状态数据重构方法的流程示意图，参考图1所示，该方法包括：
S101：构建Transformer模型；所述Transformer模型的编码器包括多层编码器单元，所述Transformer模型的解码器包括多层解码器单元；
Transformer模型包括编码器与解码器。编码器包括多层级联的编码器单元，每层编码器单元的结构相同，参数不共享。前一层编码器单元的输出作为当前编码器单元的输入。解码器包括多层级联的解码器单元，每层解码器单元的结构相同，参数不共享。前一层解码器单元的输出作为当前解码器单元的输入。
S102：训练所述Transformer模型；
本步骤旨在训练Transformer模型，以便以训练好的Transformer模型作为重构模型进行数据重构。
其中，训练Transformer模型是利用正常数据构建的多元时间序列来训练Transformer模型，使Transformer模型学习到正常数据之间长短时依赖性与多特征相关性，从而通过数据重构，找出与正常数据偏离较大而无法被有效重构的异常事件。
另外，工业时序数据有限，为了能够利用有限的工业时序数据训练Transformer模型，在一些实施例中，所述训练所述Transformer模型包括：
采用元学习算法训练所述Transformer模型。
面对数据缺乏的场景，深度学习神经网络的学习能力与对新任务的快速泛化能力有效。而元学习(Model Agnostic Meta Learning，MAML)是利用模型在已有相关任务上的学习经验(元知识)来指导新任务的学习，从而使得模型能够在小样本条件下适应新任务。为了训练出合适的模型参数，使得模型在小样本情况下能够快速收敛，本实施例采用元学习算法对Transformer模型进行多任务训练，主要步骤包括：
Step1：随机初始化网络(编码器、解码器)的权重参数；
Step2：载入一段新的训练序列，并进行滑窗处理，得到T个窗口矩阵；
Step3：执行第i个任务，计算网络中各个参数的梯度其中/>为梯度算子，fφ代表网络模型，φ代表某个模型参数，φi′代表执行任务i时参数φ的梯度变化，/>代表执行任务i时的代价函数，γ为学习率；
Step4：按照step3完成T个任务；
Step5：一轮结束后，更新各个参数其中α为元学习的步长；
Step6：当迭代截止条件满足时，结束Step2～Step5，完成训练，反之继续。
S103：提取工业设备的存疑数据，并根据所述存疑数据构建多元时间序列；
为了减少不必要的冗余计算，提高效率，本实施例对采集到的工业时序数据(例如温度数据、电流数据、电压数据等等)中可能异常的数据(即存疑数据)进行标识与提取，并对存疑数据进行归一化处理。基于提取的存疑数据构建多元时间序列。多元时间序列可表示为：X＝{x1,x2,...,xt,...,xT}T，其中，T为时间序列长度，表示输入状态向量，包含M个特征或变量。
S104：对所述多元时间序列进行预处理，得到重构对象；
在一些实施例中，对所述多元时间序列进行预处理，得到重构对象包括：
对所述多元时间序列进行滑窗处理，得到多个窗口矩阵；
对所述窗口矩阵进行PE编码，得到所述重构对象。
为了提升Transformer模型的鲁棒能力，本实施例对多元时间序列进行滑窗处理，得到T个窗口矩阵：
式中，Wt＝{xt-K+1,xt-K,...,xt}T，t∈[1,T]，其中，Wt为K×M维的窗口矩阵，K为滑窗窗口长度。特殊地，对于Wt来说，当t＜K时，用xt来填充。
由于滑窗处理会耗费大量的存储开销，且窗口长度越短所耗内存越大。对于实时流处理场景来说，滑窗处理会一定程度上影响在线实时检测效果，甚至会越来越滞后。另外，设备异常状态具有一定的持续性，因此可以根据异常检测的检测结果动态调整滑窗窗口长度K，以便能够较好地兼顾异常检测的实时性与Transformer模型的鲁棒性。
由于Transformer模型没有类似RNN的循环结构，无法捕捉输入序列的位置信息，为此本实施例采用PE(Positional Embedding，位置编码)编码对输入序列进行位置编码，使得Transformer模型能够提取时序位置信息。PE编码格式为：
式中，pos为时序位置，pos∈[1,K]，i∈[0,M-1]，表示向下取整运算。经PE编码后，得到位置矩阵P＝{Ppos,i}K×M即重构对象。
S105：通过训练好的所述Transformer模型处理所述重构对象，得到重构结果。
在一些实施例中，所述通过训练好的所述Transformer模型处理所述重构对象，得到重构结果包括：
通过所述Transformer模型的所述编码器与所述解码器处理所述重构对象，并对所述解码器的中间输出进行全连接处理与归一化处理得到所述重构结果；其中，通过所述编码器与所述解码器处理所述重构对象包括：进行注意力计算。
具体而言，结合图2所示，编码器包括L层级联的编码器单元，编码器单元的处理过程如下：
式中，LayerNorm(·)表示残差连接与层归一化操作，LSHAttention(·)表示增强型局部敏感哈希注意力，FFN(·)表示前馈神经网络，为编码器单元的中间输出，I1为K×M维的编码器单元的输入矩阵，也是前一层的编码器单元的中间输出。特殊地，对于第一层编码器单元来说，/>其中，/>表示两个矩阵相同位置的元素相加。残差连接与层归一化操作旨在解决梯度消失与权重矩阵退化的问题。
解码器包括L层级联的解码器单元，解码器单元的处理过程如下：
式中，Mask(·)表示掩膜机制，d为解码器单元的中间输出，I2为K×M维的解码器单元的输入矩阵，也是前一层的解码器单元的中间输出。特殊地，对于第一层解码器单元来说，其中，Ot-1表示在第t-1个时间步解码器的重构输出矩阵。Mask掩膜的作用主要是屏蔽掉无效的padding区域。
经过解码器处理后解码器的输出，送入全连接层、Softmax层，得到重构矩阵：
Ot＝Softmax{Linear(d)}；
式中，Linear{·}表示全连接处理，经过Softmax{·}归一化处理后概率最高的会被输出，Ot＝{ot-K+1,ot-K,...,ot}T表示在第t个时间步解码器的重构输出，其中
在一些实施例中，进行注意力计算包括：
构建不同的哈希函数，并利用所述哈希函数对query与key进行编码，得到哈希值，根据所述哈希值对query与key进行分桶，得到最优分桶方案；
根据所述最优分桶方案确定候选集；
计算查询数据与所述候选集中各数据的相似度，并返回最近的多个近邻；
在桶内对所述query与所述近邻进行点积计算，得到近似注意力。
具体而言，传统注意力机制需要计算Q与K之间的所有相关性，所得到的注意力分配矩阵非常稀疏。在注意力计算过程中，由于经过点积计算QKT后，会使得不相关的特征向量相乘后的值很小，再经过Softmax函数处理，结果近似为0，即当前时间步与这些数据之间的时间依赖性完全可以忽略掉。也就是说，对于每个query，仅需关注离它“比较近”的几个key即可。为此，本实施例提出了一种增强型局部敏感哈希注意力机制，使相关度较高的数据落入同一个桶中去，从而在进行最近邻搜索时，仅需在一个桶或临近桶内进行搜索，可以有效降低多头自注意力的计算开销，极大地提升了计算效率。主要步骤包括：
步骤1：确定每张哈希表内哈希函数的个数Nhash-func、每个哈希函数分桶的个数Nhash-bucket，以及哈希函数中的设计参数(d1，d2，p1，p2)。其中，哈希函数需要满足以下条件：1、若d(x1,x2)≤d1，则h(x1)＝h(x2)的概率至少为p1；2、若d(x1,x2)≥d2，则h(x1)＝h(x2)的概率至多为p2。
步骤2：构造多个不同的哈希函数，以实现多维度分桶操作，即构造Nhash-func个哈希函数，分别对某query与key进行编码，得到Nhash-func对哈希值。若其中超过一定比例的哈希值是相同的，则将该query与key分到同一个桶中去；
步骤3：重复步骤2，完成多轮分桶任务，筛选出最优分桶方案；
步骤4：对最优分桶方案进行排序，使得注意力权重集中在对角线上，再进行块分割，划分出不同的批量，并完成并行处理；
步骤5：将待查询数据经过Nhash-func个哈希函数得到各个相应的桶号，再根据“与”、“或”逻辑对桶进行合并操作，获得最终的候选集；
步骤6：采用距离方法计算查询数据与候选集合中各数据之间的相似度，并返回最近的个近邻；
步骤7：最后在桶内执行点积计算，获得近似注意力。
重构得到重构结果后，可以计算重构误差，即计算原始输入与重构输出之间的偏差，并可以根据重构误差以及预先定义的计算方式，计算得到异常分数。通常异常分数与重构误差呈正相关。或者还可以直接以重构误差作为异常分数。异常分数越大，表明工业设备异常的可能性越大。当异常分数超出异常阈值时，可以判定工业设备异常，由此快速可靠的检测出工业设备的潜在异常。
综上所述，本申请所提供的工业设备的时序状态数据重构方法，提取的是存疑数据不包含正常数据，并对基于存疑数据构建的多元时间序列进行数据重构，如此在数据重构过程中可以减少大量的不必要的计算，从而加快数据重构速度。另外，本申请构建并训练多层的Transformer模型，利用训练好的多层的Transformer模型进行数据重构，能够提高数据重构的可靠性，有利于进一步基于重构数据进行工业设备异常检测，提升工业设备异常检测的效率。
本申请还提供了一种工业设备的时序状态数据重构装置，下文描述的该装置可以与上文描述的方法相互对应参照。请参考图3，图3为本申请实施例所提供的一种工业设备的时序状态数据重构装置的示意图，结合图3所示，该装置包括：
构建模块10，用于构建Transformer模型；所述Transformer模型的编码器包括多层编码器单元，所述Transformer模型的解码器包括多层解码器单元；
训练模块20，用于训练所述Transformer模型；
提取模块30，用于提取工业设备的存疑数据，并根据所述存疑数据构建多元时间序列；
预处理模块40，用于对所述多元时间序列进行预处理，得到重构对象；
重构模块50，用于通过训练好的所述Transformer模型处理所述重构对象，得到重构结果。
在上述实施例的基础上，作为一种具体的实施方式，训练模块20具体用于：
采用元学习算法训练所述Transformer模型。
在上述实施例的基础上，作为一种具体的实施方式，训练模块20包括：
初始化单元，用于随机初始化所述Transformer模型的权重参数；
第一滑窗处理单元，用于载入训练序列并对所述训练序列进行滑窗处理，得到多个窗口矩阵；
更新单元，用于处理所述窗口矩阵，更新各个所述权重参数。
在上述实施例的基础上，作为一种具体的实施方式，更新单元具体用于：
根据更新所述权重参数；φ表示所述权重参数，α表示元学习的步长，/>表示梯度算子，/>表示代价函数，fφ表示网络模型，T表示所述窗口矩阵的个数。
在上述实施例的基础上，作为一种具体的实施方式，预处理模块40包括：
第二滑窗处理单元，用于对所述多元时间序列进行滑窗处理，得到多个窗口矩阵；
编码单元，用于对所述窗口矩阵进行PE编码，得到所述重构对象。
在上述实施例的基础上，作为一种具体的实施方式，重构模块50具体用于：
通过所述Transformer模型的所述编码器与所述解码器处理所述重构对象，并对所述解码器的中间输出进行全连接处理与归一化处理得到所述重构结果；其中，通过所述编码器与所述解码器处理所述重构对象包括：进行注意力计算。
在上述实施例的基础上，作为一种具体的实施方式，重构模块50具体用于：
构建不同的哈希函数，并利用所述哈希函数对query与key进行编码，得到哈希值，根据所述哈希值对query与key进行分桶，得到最优分桶方案；
根据所述最优分桶方案确定候选集；
计算查询数据与所述候选集中各数据的相似度，并返回最近的多个近邻；
在桶内对所述query与所述近邻进行点积计算，得到近似注意力。
本申请还提供了一种工业设备的时序状态数据重构设备，参考图4所示，该设备包括存储器1和处理器2。
存储器1，用于存储计算机程序；
处理器2，用于执行计算机程序实现如下的步骤：
构建Transformer模型；所述Transformer模型的编码器包括多层编码器单元，所述Transformer模型的解码器包括多层解码器单元；训练所述Transformer模型；提取工业设备的存疑数据，并根据所述存疑数据构建多元时间序列；对所述多元时间序列进行预处理，得到重构对象；通过训练好的所述Transformer模型处理所述重构对象，得到重构结果。
对于本申请所提供的设备的介绍请参照上述方法实施例，本申请在此不做赘述。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下的步骤：
构建Transformer模型；所述Transformer模型的编码器包括多层编码器单元，所述Transformer模型的解码器包括多层解码器单元；训练所述Transformer模型；提取工业设备的存疑数据，并根据所述存疑数据构建多元时间序列；对所述多元时间序列进行预处理，得到重构对象；通过训练好的所述Transformer模型处理所述重构对象，得到重构结果。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请所提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备以及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的工业设备的时序状态数据重构方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围。

Claims (8)

1.一种工业设备的时序状态数据重构方法，其特征在于，包括：
构建Transformer模型；所述Transformer模型的编码器包括多层编码器单元，所述Transformer模型的解码器包括多层解码器单元；
训练所述Transformer模型；
提取工业设备的存疑数据，并根据所述存疑数据构建多元时间序列；
对所述多元时间序列进行预处理，得到重构对象；
通过训练好的所述Transformer模型处理所述重构对象，得到重构结果；
所述通过训练好的所述Transformer模型处理所述重构对象，得到重构结果包括：
通过所述Transformer模型的所述编码器与所述解码器处理所述重构对象，并对所述解码器的中间输出进行全连接处理与归一化处理得到所述重构结果；其中，通过所述编码器与所述解码器处理所述重构对象包括：进行注意力计算；
所述进行注意力计算包括：
构建不同的哈希函数，并利用所述哈希函数对query与key进行编码，得到哈希值，根据所述哈希值对query与key进行分桶，得到最优分桶方案；
根据所述最优分桶方案确定候选集；
计算查询数据与所述候选集中各数据的相似度，并返回最近的多个近邻；
在桶内对所述query与所述近邻进行点积计算，得到近似注意力。
2.根据权利要求1所述的工业设备的时序状态数据重构方法，其特征在于，所述训练所述Transformer模型包括：
采用元学习算法训练所述Transformer模型。
3.根据权利要求2所述的工业设备的时序状态数据重构方法，其特征在于，所述采用元学习算法训练所述Transformer模型包括：
随机初始化所述Transformer模型的权重参数；
载入训练序列并对所述训练序列进行滑窗处理，得到多个窗口矩阵；
处理所述窗口矩阵，更新各个所述权重参数。
4.根据权利要求3所述的工业设备的时序状态数据重构方法，其特征在于，所述更新各个所述权重参数包括：
根据更新所述权重参数；φ表示所述权重参数，α表示元学习的步长，/>表示梯度算子，/>表示代价函数，fφ表示网络模型，T表示所述窗口矩阵的个数。
5.根据权利要求1所述的工业设备的时序状态数据重构方法，其特征在于，对所述多元时间序列进行预处理，得到重构对象包括：
对所述多元时间序列进行滑窗处理，得到多个窗口矩阵；
对所述窗口矩阵进行PE编码，得到所述重构对象。
6.一种工业设备的时序状态数据重构装置，其特征在于，包括：
构建模块，用于构建Transformer模型；所述Transformer模型的编码器包括多层编码器单元，所述Transformer模型的解码器包括多层解码器单元；
训练模块，用于训练所述Transformer模型；
提取模块，用于提取工业设备的存疑数据，并根据所述存疑数据构建多元时间序列；
预处理模块，用于对所述多元时间序列进行预处理，得到重构对象；
重构模块，用于通过训练好的所述Transformer模型处理所述重构对象，得到重构结果；
重构模块具体用于：
通过所述Transformer模型的所述编码器与所述解码器处理所述重构对象，并对所述解码器的中间输出进行全连接处理与归一化处理得到所述重构结果；其中，通过所述编码器与所述解码器处理所述重构对象包括：进行注意力计算；
所述进行注意力计算包括：
构建不同的哈希函数，并利用所述哈希函数对query与key进行编码，得到哈希值，根据所述哈希值对query与key进行分桶，得到最优分桶方案；
根据所述最优分桶方案确定候选集；
计算查询数据与所述候选集中各数据的相似度，并返回最近的多个近邻；
在桶内对所述query与所述近邻进行点积计算，得到近似注意力。
7.一种工业设备的时序状态数据重构设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的工业设备的时序状态数据重构方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的工业设备的时序状态数据重构方法的步骤。
CN202310700161.0A 2023-06-13 2023-06-13 一种工业设备的时序状态数据重构方法及相关装置 Active CN116662811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310700161.0A CN116662811B (zh) 2023-06-13 2023-06-13 一种工业设备的时序状态数据重构方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310700161.0A CN116662811B (zh) 2023-06-13 2023-06-13 一种工业设备的时序状态数据重构方法及相关装置

Publications (2)

Publication Number Publication Date
CN116662811A CN116662811A (zh) 2023-08-29
CN116662811B true CN116662811B (zh) 2024-02-06

Family

ID=87722258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310700161.0A Active CN116662811B (zh) 2023-06-13 2023-06-13 一种工业设备的时序状态数据重构方法及相关装置

Country Status (1)

Country Link
CN (1) CN116662811B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095515A (zh) * 2015-09-11 2015-11-25 北京金山安全软件有限公司 支持快速查询Map-Reduce输出结果的分桶方法、装置及设备
CN106980665A (zh) * 2017-03-21 2017-07-25 广东神马搜索科技有限公司 数据字典实现方法、装置及数据字典管理系统
CN114065862A (zh) * 2021-11-18 2022-02-18 南京航空航天大学 一种多维时序数据异常检测方法和系统
CN114386521A (zh) * 2022-01-14 2022-04-22 湖南师范大学 时间序列数据的异常检测方法、系统、设备和存储介质
JP2022066957A (ja) * 2020-10-19 2022-05-02 株式会社三菱ケミカルホールディングス 異常検知方法、異常検知装置、及びプログラム
CN114519469A (zh) * 2022-02-22 2022-05-20 重庆大学 一种基于Transformer框架的多变量长序列时间序列预测模型的构建方法
CN115018021A (zh) * 2022-08-08 2022-09-06 广东电网有限责任公司肇庆供电局 基于图结构与异常注意力机制的机房异常检测方法及装置
CN115078894A (zh) * 2022-08-22 2022-09-20 广东电网有限责任公司肇庆供电局 一种电力机房异常检测方法、装置、设备及可读存储介质
CN115098620A (zh) * 2022-07-26 2022-09-23 北方民族大学 一种注意力相似度迁移的跨模态哈希检索方法
CN115186764A (zh) * 2022-08-03 2022-10-14 腾讯科技（北京）有限公司 数据处理方法、装置、电子设备及存储介质
CN115222141A (zh) * 2022-07-29 2022-10-21 湖南第一师范学院 一种多变量时序异常检测方法、系统、介质、设备及终端
CN115484102A (zh) * 2022-09-16 2022-12-16 上海交通大学宁波人工智能研究院 一种面向工业控制系统的异常检测系统和方法
CN115587335A (zh) * 2022-09-15 2023-01-10 中国电力科学研究院有限公司 异常值检测模型的训练方法、异常值检测方法及系统
CN116028618A (zh) * 2022-12-27 2023-04-28 百度国际科技（深圳）有限公司 文本处理、文本检索方法、装置、电子设备及存储介质
CN116151258A (zh) * 2023-01-18 2023-05-23 华润数字科技有限公司 文本消岐方法、电子设备、存储介质
CN116192523A (zh) * 2023-03-06 2023-05-30 湖南匡安网络技术有限公司 一种基于神经网络的工控异常流量监测方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11205121B2 (en) * 2018-06-20 2021-12-21 Disney Enterprises, Inc. Efficient encoding and decoding sequences using variational autoencoders
JP6930503B2 (ja) * 2018-07-20 2021-09-01 日本電信電話株式会社 異常検知装置、異常検知方法、およびプログラム

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095515A (zh) * 2015-09-11 2015-11-25 北京金山安全软件有限公司 支持快速查询Map-Reduce输出结果的分桶方法、装置及设备
CN106980665A (zh) * 2017-03-21 2017-07-25 广东神马搜索科技有限公司 数据字典实现方法、装置及数据字典管理系统
JP2022066957A (ja) * 2020-10-19 2022-05-02 株式会社三菱ケミカルホールディングス 異常検知方法、異常検知装置、及びプログラム
CN114065862A (zh) * 2021-11-18 2022-02-18 南京航空航天大学 一种多维时序数据异常检测方法和系统
CN114386521A (zh) * 2022-01-14 2022-04-22 湖南师范大学 时间序列数据的异常检测方法、系统、设备和存储介质
CN114519469A (zh) * 2022-02-22 2022-05-20 重庆大学 一种基于Transformer框架的多变量长序列时间序列预测模型的构建方法
CN115098620A (zh) * 2022-07-26 2022-09-23 北方民族大学 一种注意力相似度迁移的跨模态哈希检索方法
CN115222141A (zh) * 2022-07-29 2022-10-21 湖南第一师范学院 一种多变量时序异常检测方法、系统、介质、设备及终端
CN115186764A (zh) * 2022-08-03 2022-10-14 腾讯科技（北京）有限公司 数据处理方法、装置、电子设备及存储介质
CN115018021A (zh) * 2022-08-08 2022-09-06 广东电网有限责任公司肇庆供电局 基于图结构与异常注意力机制的机房异常检测方法及装置
CN115078894A (zh) * 2022-08-22 2022-09-20 广东电网有限责任公司肇庆供电局 一种电力机房异常检测方法、装置、设备及可读存储介质
CN115587335A (zh) * 2022-09-15 2023-01-10 中国电力科学研究院有限公司 异常值检测模型的训练方法、异常值检测方法及系统
CN115484102A (zh) * 2022-09-16 2022-12-16 上海交通大学宁波人工智能研究院 一种面向工业控制系统的异常检测系统和方法
CN116028618A (zh) * 2022-12-27 2023-04-28 百度国际科技（深圳）有限公司 文本处理、文本检索方法、装置、电子设备及存储介质
CN116151258A (zh) * 2023-01-18 2023-05-23 华润数字科技有限公司 文本消岐方法、电子设备、存储介质
CN116192523A (zh) * 2023-03-06 2023-05-30 湖南匡安网络技术有限公司 一种基于神经网络的工控异常流量监测方法和系统

Also Published As

Publication number Publication date
CN116662811A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN111914873A (zh) 一种两阶段云服务器无监督异常预测方法
Raiko et al. Iterative neural autoregressive distribution estimator nade-k
CN111260620B (zh) 图像异常检测方法、装置和电子设备
CN113242207A (zh) 一种迭代聚类的网络流量异常检测方法
Wen et al. Two-stage evolutionary neural architecture search for transfer learning
An et al. Deep domain adaptation model for bearing fault diagnosis with Riemann metric correlation alignment
CN116522265A (zh) 工业互联网时序数据异常检测方法及装置
CN115587335A (zh) 异常值检测模型的训练方法、异常值检测方法及系统
Yokkampon et al. Robust unsupervised anomaly detection with variational autoencoder in multivariate time series data
CN116662811B (zh) 一种工业设备的时序状态数据重构方法及相关装置
CN116757533A (zh) 一种工业设备异常检测方法及相关装置
CN115081555B (zh) 基于生成对抗和双向循环神经网络的异常检测方法及装置
Pandey et al. A metaheuristic autoencoder deep learning model for intrusion detector system
CN114912109B (zh) 一种基于图嵌入的异常行为序列识别方法及系统
Gao et al. A Novel Fault Detection Model Based on Vector Quantization Sparse Autoencoder for Nonlinear Complex Systems
Liu et al. A dual-branch balance saliency model based on discriminative feature for fabric defect detection
CN115187266A (zh) 基于记忆力变分自编码模型的信用卡欺诈检测方法及系统
CN114580934A (zh) 基于无监督异常检测的食品检测数据风险的早预警方法
Liu et al. Temporal segment transformer for action segmentation
CN113887363A (zh) 基于序列识别的视频异常事件检测方法
Tu et al. Improving prediction efficacy through abnormality detection and data preprocessing
Nath et al. Data Mining for the Security of Cyber Physical Systems Using Deep-Learning Methods
He et al. A deep neural network for anomaly detection and forecasting for multivariate time series in smart city
Chalongvorachai et al. LSCR: Latent Space Coordination Relation for Anomaly Prediction
Zhu et al. Semi-supervised representation learning: Transfer learning with manifold regularized auto-encoders

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant