CN114065862A - 一种多维时序数据异常检测方法和系统 - Google Patents
一种多维时序数据异常检测方法和系统 Download PDFInfo
- Publication number
- CN114065862A CN114065862A CN202111371649.0A CN202111371649A CN114065862A CN 114065862 A CN114065862 A CN 114065862A CN 202111371649 A CN202111371649 A CN 202111371649A CN 114065862 A CN114065862 A CN 114065862A
- Authority
- CN
- China
- Prior art keywords
- data
- coding
- telemetry data
- anomaly detection
- periodic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 230000006870 function Effects 0.000 claims abstract description 58
- 230000000737 periodic effect Effects 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 26
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 238000009499 grossing Methods 0.000 claims description 16
- 230000005856 abnormality Effects 0.000 claims description 11
- 230000017105 transposition Effects 0.000 claims description 11
- 239000006185 dispersion Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000007774 longterm Effects 0.000 abstract description 5
- 230000007246 mechanism Effects 0.000 abstract description 4
- 230000008034 disappearance Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明提供的一种多维时序数据异常检测方法和系统，通过Transformer的自注意力机制捕获时间序列之间的相关性，减轻了时间序列的维数和关系紧密程度对模型性能的影响。并且，本发明采用了时序位置编码函数、周期位置编码函数、绝对位置编码等的全局位置编码，能够更好的捕获序列中的长期相关性。本发明还通过融合多个时间尺度的特征，弥补了数据在升维的过程中丢失的细节信息，从而获得了更加强大的特征表达，能够学习到更鲁棒更深层的局部特征。进一步，本发明采用的异常检测模型中的特殊残差结构，能够较好的缓解变分自编码器的散度消失问题，提高了模型生成能力的下限。
Description
技术领域
本发明涉及时序数据异常检测技术领域，特别是涉及一种多维时序数据异常检测方法和系统。
背景技术
卫星是由许多相互关联、相关协作的设备组成的复杂系统，其造价昂贵且对国家有着重要的战略意义。由于卫星长期处于恶劣的外层空间环境中，其在轨运行期间可能会出现不可预见的异常或故障，因此及时有效的异常检测可以确保卫星的长期稳定运行。
异常检测问题一直是数据挖掘领域的热点问题。在实际的生产过程中，具有标签的数据往往很难获得，因此异常检测大多基于无监督方法。根据时间序列的数量，可以将现有的异常检测方法分为单变量时间序列异常检测方法和多变量时间序列异常检测方法。由于卫星结构复杂，传感器众多，因此单变量时间序列异常检测很难适用于卫星设备。
遥测数据是安装在卫星各个部件的传感器采集到的卫星在轨运行数据。地面人员通过分析遥测数据对卫星进行异常检测，实时监控卫星的运行状态。因此，卫星遥测数据作为典型的多变量时间序列数据一直是异常检测领域重要的研究对象。
根据异常检测方法的原理，可以将现有的异常检测方法分为基于机器学习的异常检测方法和基于深度学习的异常检测方法。基于机器学习的异常检测方法包括：1)基于线性模型的方法、2)基于距离的方法、3)基于概率和密度估计的方法和4)基于离群点划分的方法等。尽管基于机器学习的异常检测方法可解释性好，但该类方法需要依靠专家经验对遥测数据建立复杂的特征工程。随着技术的发展和算力的提高，基于深度学习的异常检测方法开始受到广泛关注。
由于循环神经网络特殊的网络结构，使得该类异常检测方法能够捕获时间序列数据中的长期依赖关系，因而受到广泛的研究。虽然此类方法在异常检测领域取得了较为出色的成绩，但并没有考虑到不同时间序列之间的相关性。所以此类方法在建模具有序列潜在相关性的卫星遥测数据时，效果并不理想。针对这一缺陷，研究者们考虑使用图神经网络来捕获时间序列之间的潜在相关性。该类异常检测方法将数据的每个时间序列视为图上的一个特征节点，通过构建特征节点关系图提取多变量时间序列数据的潜在相关性。与循环神经网络相比，基于图神经网络的异常检测方法有效利用了变量之间的相关性信息，提高了异常检测的准确率。但此类方法的性能过于依赖特征节点关系图的大小，当构建的特征节点关系图过于稀疏或图中的特征节点数目过少，将会造成该类方法性能的瓶颈。从而导致该类方法的异常检测效果甚至不如没有考虑潜在相关性的多变量异常检测方法。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于Transformer变分自编码器的多维时序数据异常检测方法和系统。
为实现上述目的，本发明提供了如下方案：
一种多维时序数据异常检测方法，包括：
将待检测卫星遥测数据输入至训练好的异常检测模型中，得到各时刻的重构误差；所述异常检测模型包括：时序位置编码函数、周期位置编码函数、绝对位置编码、一维卷积、一维转置卷积和Transformer变分自编码器；
采用加权移动平均法对所述重构误差进行平滑处理，得到平滑误差；
当所述平滑误差超过阈值范围时，判定为所述待检测卫星遥测数据存在异常，并记录异常时间点。
优选地，所述异常检测模型的训练过程包括：
采用时序位置编码函数、周期位置编码函数和绝对位置编码确定所述卫星遥测数据的编码附加数据；所述编码附加数据包括：时序编码向量、周期编码向量和附加卫星遥测数据；
采用一维卷积和一维转置卷积在时间维度上对所述卫星遥测数据进行卷积和上采样处理，得到多个时间尺度特征；
融合多个所述时间尺度特征得到融合特征；
融合所述编码附加数据和所述融合特征得到融合输入信息；
将所述融合输入信息输入至Transformer变分自编码器，得到编码后的隐空间向量及所述隐空间向量的后验分布；
对所述编码后的隐空间向量进行解码得到重构结果；
确定所述重构结果与所述卫星遥测数据间的误差得到重构误差；
根据所述重构误差、所述隐空间向量的后验分布和标准正态分布与后验分布的KL离散度构造损失函数；
采用样本训练集基于所述损失函数对Transformer变分自编码器进行训练，得到训练好的异常检测模型。
优选地，所述采用时序位置编码函数、周期位置编码函数和绝对位置编码确定所述卫星遥测数据的编码附加数据，具体包括：
采用时序位置编码函数对卫星遥测数据的时间戳信息进行分解和编码得到时序编码向量；
采用傅里叶变换分析所述卫星遥测数据得到周期信息；
采用周期位置编码函数对所述周期信息进行编码得到周期编码向量；
采用绝对位置编码将所述卫星遥测数据中的局部位置信息附加至所述卫星遥测数据形成附加卫星遥测数据。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的多维时序数据异常检测方法，通过Transformer的自注意力机制捕获时间序列之间的相关性，减轻了时间序列的维数和关系紧密程度对模型性能的影响。并且，本发明采用了时序位置编码函数、周期位置编码函数、绝对位置编码等的全局位置编码，能够更好的捕获序列中的长期相关性。本发明还通过融合多个时间尺度的特征，弥补了数据在升维的过程中丢失的细节信息，从而获得了更加强大的特征表达，能够学习到更鲁棒更深层的局部特征。进一步，本发明采用的异常检测模型中的特殊残差结构，能够较好的缓解变分自编码器的散度消失问题，提高了模型生成能力的下限。此外，本发明经过扩展后，还可以用于其他多传感器机械设备的异常检测。
此外，对应于上述提供的多维时序数据异常检测方法，还提供了两种多维时序数据异常检测系统，其中一种多维时序数据异常检测系统包括：
重构误差确定模块，用于将待检测卫星遥测数据输入至训练好的异常检测模型中，得到各时刻的重构误差；所述异常检测模型包括：时序位置编码函数、周期位置编码函数、绝对位置编码、一维卷积、一维转置卷积和Transformer变分自编码器；
平滑误差确定模块，用于采用加权移动平均法对所述重构误差进行平滑处理，得到平滑误差；
异常检测模块，用于当所述平滑误差超过阈值范围时，判定为所述待检测卫星遥测数据存在异常，并记录异常时间点。
优选地，还包括异常检测模型训练模块；所述异常检测模型训练模块包括：
编码附加数据确定单元，用于采用时序位置编码函数、周期位置编码函数和绝对位置编码确定所述卫星遥测数据的编码附加数据；所述编码附加数据包括：时序编码向量、周期编码向量和附加卫星遥测数据；
时间尺度特征确定单元，用于采用一维卷积和一维转置卷积在时间维度上对所述卫星遥测数据进行卷积和上采样处理，得到多个时间尺度特征；
特征融合单元，用于融合多个所述时间尺度特征得到融合特征；
输入信息融合单元，用于融合所述编码附加数据和所述融合特征得到融合输入信息；
自编码单元，用于将所述融合输入信息输入至Transformer变分自编码器，得到编码后的隐空间向量及所述隐空间向量的后验分布；
解码单元，用于对所述编码后的隐空间向量进行解码得到重构结果；
重构误差确定单元，用于确定所述重构结果与所述卫星遥测数据间的误差得到重构误差；
损失函数构造单元，用于根据所述重构误差、所述隐空间向量的后验分布和标准正态分布与后验分布的KL离散度构造损失函数；
训练单元，用于采用样本训练集基于所述损失函数对Transformer变分自编码器进行训练，得到训练好的异常检测模型。
优选地，所述编码附加数据确定单元包括：
时序编码子单元，用于采用时序位置编码函数对卫星遥测数据的时间戳信息进行分解和编码得到时序编码向量；
周期信息分析子单元，用于采用傅里叶变换分析所述卫星遥测数据得到周期信息；
周期编码子单元，用于采用周期位置编码函数对所述周期信息进行编码得到周期编码向量；
绝对位置编码子单元，用于采用绝对位置编码将所述卫星遥测数据中的局部位置信息附加至所述卫星遥测数据形成附加卫星遥测数据。
另一种多维时序数据异常检测系统，包括：处理器和存储器；
所述处理器和所述存储器连接；
所述存储器用于存储软件程序；
所述处理器用于执行所述存储器中存储的软件程序；所述软件程序为实施上述提供的多维时序数据异常检测方法的计算机程序。
因本发明提供的多维时序数据异常检测系统实现的技术效果与上述提供的多维时序数据异常检测方法实现的技术效果相同，故在此不再进行赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的实施多维时序数据异常检测方法的总体流程图；
图2为本发明实施例提供的位置编码模块的结构示意图；
图3为本发明实施例提供的多尺度特征融合过程示意图；
图4为本发明实施例提供的Transformer变分自编码器的网络结构图；
图5为本发明提供的第一种多维时序数据异常检测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种基于Transformer变分自编码器的多维时序数据异常检测方法和系统，该方案不再通过构造特征节点关系图提取数据的相关性信息，而是通过Transformer的自注意力机制捕获时间序列之间的相关性，有效减轻了时间序列的维数和关系紧密程度对异常检测效果的影响，能够显著提高多维时序数据异常检测准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明针对遥测数据等多变量时间序列数据进行异常检测，使用Transformer的自注意力机制捕获序列之间的潜在相关性，使用改进的位置编码为数据附加时序信息和周期信息，使用多尺度特征融合算法获得更加强大的特征表达。接着，通过具有特殊残差结构的变分自编码器综合考虑提取到的特征信息，对输入数据进行重构。根据重构数据和原始数据的误差，以及编码后的隐空间向量的后验分布和标准正态分布的KL离散度构造损失函数训练模型。最后，基于检测数据的重构误差判断数据是否异常，进而达到异常检测的目的。其具体实施步骤如下，且总体流程见附图1。
步骤一：针对卫星等复杂机械设备，改进了Transformer的位置编码。本发明提出的位置编码能够为数据附加时序信息和周期信息，结合绝对位置编码附加的局部位置信息，使得模型能够更好的捕获序列中的长期相关性。
改进的位置编码包括时序位置编码和周期位置编码。通过时序位置编码函数对数据的时间戳信息进行分解并编码成时序编码向量。通过周期位置编码函数将傅里叶变换分析得到的周期信息进行编码，得到周期编码向量。结合绝对位置编码向量，共同为数据附加位置信息。详细处理流程见附图2。具体步骤如下：
将日期格式的时间戳分解为时、分和秒等具体的数值信息，并按照各自的特点利用公式进行编码并归一化，为数据附加时序信息。i时刻的时序编码向量TPEi满足：
对输入数据进行傅里叶变换，求出该数据的主周期。利用该周期信息，对其进行周期编码，为数据附加周期信息。式中t表示数据的时间戳，T表示数据的周期，PPEt表示周期编码向量：
使用绝对位置编码将数据的局部位置信息附加至原始数据，pos表示数据的位置，i表示数据的维度。
步骤二、多尺度特征融合
步骤二：将多尺度特征融合算法引入多维时序数据异常检测，并针对时序数据的特点进行了改进。通过融合多个时间尺度的特征，弥补数据在升维的过程中丢失的细节信息，从而获得更加强大的特征表达。其中，为了弥补数据在升维的过程中丢失的细节信息，本发明将多尺度特征融合算法引入多维时序数据异常检测，并针对时序数据的特点进行了改进。使用一维卷积和一维转置卷积在时间维度对模型的输入数据进行卷积和上采样，形成多个时间尺度的特征，将各个时间尺度的特征相加融合获得更加强大的特征表达，详细处理流程见附图3。具体步骤如下：
利用多个一维卷积层
将数据迭代映射为多个时间尺度的特征C＝(C0,C1,…,Cm)：
从最初的时间尺度特征C0开始，对该尺度数据进行上采样Funsample，并和下一尺度的特征数据相加，得到融合后的新特征数据Pm：
步骤三：将步骤一和步骤二处理后的数据相加融合输入至Transformer变分自编码器中，得到隐空间向量。该Transformer变分自编码器模型是生成模型，能够学习到更鲁棒更深层的局部特征。并且该模型中的特殊残差结构，能够较好的缓解变分自编码器的散度消失问题，提高了模型生成能力的下限。与普通的残差结构不同，该残差结构并不连通编码器和解码器，而是两者单独进行残差连接。这种特殊的残差结构是为了防止编码器的信息过多地泄露给解码器，从而避免变分自编码器结构失效。模型根据提取到的数据特征进行综合分析，对输入数据进行编码再重构。接着Transformer变分自编码器再对编码后得到的隐空间向量进行解码。计算解码后的重构结果和原始输入的误差，根据模型的重构误差以及编码向量的后验分布和标准正态分布的KL离散度，将两者之和作为损失函数并训练模型。利用训练好的模型，进行异常检测。Transformer变分自编码器网络结构见附图4。具体过程如下所示：
将步骤一和步骤二处理后的数据输入至Transformer变分自编码器中，得到i时刻模型编码后的隐空间向量Zi，以及该向量的后验分布p(Zi|Xi)。其中μi表示均值，
表示方差，
表示各层编码器输出和，ξ表示服从标准正态分布的噪声数据：
根据模型的重构结果和学习到的后验分布p(Zi|Xi)构造损失函数，并训练基于Transformer变分自编码器的异常检测模型。Lossres表示模型的重构误差，Losskl表示p(Zi|Xi)和标准正态分布的KL离散度：
Total_loss＝Lossres+Losskl
将检测数据经过位置编码和多尺度特征融合模块处理后，输入至训练好的Transformer变分自编码器中，求出各时刻的重构误差R＝(R1,R2,…,Rh)，并使用指数加权移动平均算法对重构误差进行平滑处理得到平滑误差；
遍历所有时刻的重构误差值，判断平滑误差是否有超出阈值范围的异常数据并记录异常数据的异常时间点。
此外，对应于上述提供的多维时序数据异常检测方法，还提供了两种多维时序数据异常检测系统。如图5所示，其中一种多维时序数据异常检测系统包括：
重构误差确定模块1，用于将待检测卫星遥测数据输入至训练好的异常检测模型中，得到各时刻的重构误差；所述异常检测模型包括：时序位置编码函数、周期位置编码函数、绝对位置编码、一维卷积、一维转置卷积和Transformer变分自编码器；
平滑误差确定模块2，用于采用加权移动平均法对所述重构误差进行平滑处理，得到平滑误差；
异常检测模块3，用于当所述平滑误差超过阈值范围时，判定为所述待检测卫星遥测数据存在异常，并记录异常时间点。
作为本发明的另一具体实施方式，上述提供的多维时序数据异常检测系统还包括异常检测模型训练模块；所述异常检测模型训练模块包括：
编码附加数据确定单元，用于采用时序位置编码函数、周期位置编码函数和绝对位置编码确定所述卫星遥测数据的编码附加数据；所述编码附加数据包括：时序编码向量、周期编码向量和附加卫星遥测数据；
时间尺度特征确定单元，用于采用一维卷积和一维转置卷积在时间维度上对所述卫星遥测数据进行卷积和上采样处理，得到多个时间尺度特征；
特征融合单元，用于融合多个所述时间尺度特征得到融合特征；
输入信息融合单元，用于融合所述编码附加数据和所述融合特征得到融合输入信息；
自编码单元，用于将所述融合输入信息输入至Transformer变分自编码器，得到编码后的隐空间向量及所述隐空间向量的后验分布；
解码单元，用于对所述编码后的隐空间向量进行解码得到重构结果；
重构误差确定单元，用于确定所述重构结果与所述卫星遥测数据间的误差得到重构误差；
损失函数构造单元，用于根据所述重构误差、所述隐空间向量的后验分布和标准正态分布与后验分布的KL离散度构造损失函数；
训练单元，用于采用样本训练集基于所述损失函数对Transformer变分自编码器进行训练，得到训练好的异常检测模型。
其中，所述编码附加数据确定单元包括：
时序编码子单元，用于采用时序位置编码函数对卫星遥测数据的时间戳信息进行分解和编码得到时序编码向量；
周期信息分析子单元，用于采用傅里叶变换分析所述卫星遥测数据得到周期信息；
周期编码子单元，用于采用周期位置编码函数对所述周期信息进行编码得到周期编码向量；
绝对位置编码子单元，用于采用绝对位置编码将所述卫星遥测数据中的局部位置信息附加至所述卫星遥测数据形成附加卫星遥测数据。
另一种多维时序数据异常检测系统，包括：处理器和存储器；
所述处理器和所述存储器连接；
所述存储器用于存储软件程序；
所述处理器用于执行所述存储器中存储的软件程序；所述软件程序为实施上述提供的多维时序数据异常检测方法的计算机程序。
其中，实施上述提供的多维时序数据异常检测方法的计算机程序具体描述如下：
输入：从机械设备采样的训练数据集D＝[d1,d2,…,dn]和测试数据集X＝[x1,x2,…,xm]，Transformer变分自编码器模型F(·)，k个一维卷积层
和k个上采样函数
输出：异常检测结果Result
For i＝1 to n Do:
计算i时刻的时序编码向量TPEi
计算i时刻的周期编码向量PPEi
计算i时刻的绝对位置编码向量PEi
将位置信息附加至输入数据di＝di+TPEi+PPEi+PEi
End for
C0＝D
For i＝1 to k Do:
将数据迭代映射为多个时间尺度的特征
End for
For i＝1 to k Do:
将多个尺度的特征融合
End for
利用多尺度特征融合后的数据Pk训练Transformer变分自编码器模型F(·)
For t＝1 to m Do:
将测试数据X按照上述操作处理得到
计算模型的重构误差
对重构误差进行平滑V[t]＝ηV[t-1]+(1-η)R[t]
End for
For t＝1 to m Do:
计算t时刻的误差上限MAX[t]和误差下限MIN[t]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (7)
1.一种多维时序数据异常检测方法，其特征在于，包括：
将待检测卫星遥测数据输入至训练好的异常检测模型中，得到各时刻的重构误差；所述异常检测模型包括：时序位置编码函数、周期位置编码函数、绝对位置编码、一维卷积、一维转置卷积和Transformer变分自编码器；
采用加权移动平均法对所述重构误差进行平滑处理，得到平滑误差；
当所述平滑误差超过阈值范围时，判定为所述待检测卫星遥测数据存在异常，并记录异常时间点。
2.根据权利要求1所述的多维时序数据异常检测方法，其特征在于，所述异常检测模型的训练过程包括：
采用时序位置编码函数、周期位置编码函数和绝对位置编码确定所述卫星遥测数据的编码附加数据；所述编码附加数据包括：时序编码向量、周期编码向量和附加卫星遥测数据；
采用一维卷积和一维转置卷积在时间维度上对所述卫星遥测数据进行卷积和上采样处理，得到多个时间尺度特征；
融合多个所述时间尺度特征得到融合特征；
融合所述编码附加数据和所述融合特征得到融合输入信息；
将所述融合输入信息输入至Transformer变分自编码器，得到编码后的隐空间向量及所述隐空间向量的后验分布；
对所述编码后的隐空间向量进行解码得到重构结果；
确定所述重构结果与所述卫星遥测数据间的误差得到重构误差；
根据所述重构误差、所述隐空间向量的后验分布和标准正态分布与后验分布的KL离散度构造损失函数；
采用样本训练集基于所述损失函数对Transformer变分自编码器进行训练，得到训练好的异常检测模型。
3.根据权利要求1所述的多维时序数据异常检测方法，其特征在于，所述采用时序位置编码函数、周期位置编码函数和绝对位置编码确定所述卫星遥测数据的编码附加数据，具体包括：
采用时序位置编码函数对卫星遥测数据的时间戳信息进行分解和编码得到时序编码向量；
采用傅里叶变换分析所述卫星遥测数据得到周期信息；
采用周期位置编码函数对所述周期信息进行编码得到周期编码向量；
采用绝对位置编码将所述卫星遥测数据中的局部位置信息附加至所述卫星遥测数据形成附加卫星遥测数据。
4.一种多维时序数据异常检测系统，其特征在于，包括：
重构误差确定模块，用于将待检测卫星遥测数据输入至训练好的异常检测模型中，得到各时刻的重构误差；所述异常检测模型包括：时序位置编码函数、周期位置编码函数、绝对位置编码、一维卷积、一维转置卷积和Transformer变分自编码器；
平滑误差确定模块，用于采用加权移动平均法对所述重构误差进行平滑处理，得到平滑误差；
异常检测模块，用于当所述平滑误差超过阈值范围时，判定为所述待检测卫星遥测数据存在异常，并记录异常时间点。
5.根据权利要求4所述的多维时序数据异常检测系统，其特征在于，还包括异常检测模型训练模块；所述异常检测模型训练模块包括：
编码附加数据确定单元，用于采用时序位置编码函数、周期位置编码函数和绝对位置编码确定所述卫星遥测数据的编码附加数据；所述编码附加数据包括：时序编码向量、周期编码向量和附加卫星遥测数据；
时间尺度特征确定单元，用于采用一维卷积和一维转置卷积在时间维度上对所述卫星遥测数据进行卷积和上采样处理，得到多个时间尺度特征；
特征融合单元，用于融合多个所述时间尺度特征得到融合特征；
输入信息融合单元，用于融合所述编码附加数据和所述融合特征得到融合输入信息；
自编码单元，用于将所述融合输入信息输入至Transformer变分自编码器，得到编码后的隐空间向量及所述隐空间向量的后验分布；
解码单元，用于对所述编码后的隐空间向量进行解码得到重构结果；
重构误差确定单元，用于确定所述重构结果与所述卫星遥测数据间的误差得到重构误差；
损失函数构造单元，用于根据所述重构误差、所述隐空间向量的后验分布和标准正态分布与后验分布的KL离散度构造损失函数；
训练单元，用于采用样本训练集基于所述损失函数对Transformer变分自编码器进行训练，得到训练好的异常检测模型。
6.根据权利要求4所述的多维时序数据异常检测系统，其特征在于，所述编码附加数据确定单元包括：
时序编码子单元，用于采用时序位置编码函数对卫星遥测数据的时间戳信息进行分解和编码得到时序编码向量；
周期信息分析子单元，用于采用傅里叶变换分析所述卫星遥测数据得到周期信息；
周期编码子单元，用于采用周期位置编码函数对所述周期信息进行编码得到周期编码向量；
绝对位置编码子单元，用于采用绝对位置编码将所述卫星遥测数据中的局部位置信息附加至所述卫星遥测数据形成附加卫星遥测数据。
7.一种多维时序数据异常检测系统，其特征在于，包括：处理器和存储器；
所述处理器和所述存储器连接；
所述存储器用于存储软件程序；
所述处理器用于执行所述存储器中存储的软件程序；所述软件程序为实施权利要求1-3任意一项所述的多维时序数据异常检测方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111371649.0A CN114065862B (zh) | 2021-11-18 | 2021-11-18 | 一种多维时序数据异常检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111371649.0A CN114065862B (zh) | 2021-11-18 | 2021-11-18 | 一种多维时序数据异常检测方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114065862A true CN114065862A (zh) | 2022-02-18 |
| CN114065862B CN114065862B (zh) | 2024-02-13 |
Family
ID=80278156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111371649.0A Active CN114065862B (zh) | 2021-11-18 | 2021-11-18 | 一种多维时序数据异常检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114065862B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114301719A (zh) * | 2022-03-10 | 2022-04-08 | 中国人民解放军国防科技大学 | 一种基于变分自编码器的恶意更新检测方法及模型 |
| CN114550460A (zh) * | 2022-04-25 | 2022-05-27 | 中国科学院自动化研究所 | 轨道交通异常检测方法、装置及存储介质 |
| CN115018021A (zh) * | 2022-08-08 | 2022-09-06 | 广东电网有限责任公司肇庆供电局 | 基于图结构与异常注意力机制的机房异常检测方法及装置 |
| CN115018012A (zh) * | 2022-07-21 | 2022-09-06 | 北京航空航天大学 | 一种高维度特性下的物联网时间序列异常检测方法及系统 |
| CN115080964A (zh) * | 2022-08-16 | 2022-09-20 | 杭州比智科技有限公司 | 基于图深度学习的数据流转异常检测方法及系统 |
| CN115114345A (zh) * | 2022-04-02 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 特征表示的提取方法、装置、设备、存储介质及程序产品 |
| CN116662811A (zh) * | 2023-06-13 | 2023-08-29 | 无锡物联网创新中心有限公司 | 一种工业设备的时序状态数据重构方法及相关装置 |
| CN116702083A (zh) * | 2023-08-10 | 2023-09-05 | 武汉能钠智能装备技术股份有限公司四川省成都市分公司 | 一种卫星遥测数据异常检测方法及系统 |
| CN116933195A (zh) * | 2023-07-31 | 2023-10-24 | 浙江大学 | 一种基于深度学习的加密流量异常检测方法及装置 |
| CN117034175A (zh) * | 2023-10-07 | 2023-11-10 | 北京麟卓信息科技有限公司 | 一种基于通道融合自注意力机制的时序数据异常检测方法 |
| CN117556311A (zh) * | 2024-01-11 | 2024-02-13 | 电子科技大学 | 一种基于多维特征融合的无监督时间序列异常检测方法 |
| CN117786374A (zh) * | 2024-02-28 | 2024-03-29 | 南京信息工程大学 | 一种基于图神经网络的多变量时序异常检测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109471049A (zh) * | 2019-01-09 | 2019-03-15 | 南京航空航天大学 | 一种基于改进堆叠自编码器的卫星电源系统异常检测方法 |
| CN111598438A (zh) * | 2020-05-14 | 2020-08-28 | 哈尔滨工业大学（威海） | 基于分段拟合分析及评估的民航发动机气路异常检测方法 |
| CN112148955A (zh) * | 2020-10-22 | 2020-12-29 | 南京航空航天大学 | 一种物联网时序数据异常检测方法及系统 |
| US20210174171A1 (en) * | 2019-03-13 | 2021-06-10 | Nanjing University Of Aeronautics And Astronautics | Satellite anomaly detection method and system for adversarial network auto-encoder |
| CN113067754A (zh) * | 2021-04-13 | 2021-07-02 | 南京航空航天大学 | 一种半监督时间序列异常检测方法及系统 |
-
2021
- 2021-11-18 CN CN202111371649.0A patent/CN114065862B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109471049A (zh) * | 2019-01-09 | 2019-03-15 | 南京航空航天大学 | 一种基于改进堆叠自编码器的卫星电源系统异常检测方法 |
| US20210174171A1 (en) * | 2019-03-13 | 2021-06-10 | Nanjing University Of Aeronautics And Astronautics | Satellite anomaly detection method and system for adversarial network auto-encoder |
| CN111598438A (zh) * | 2020-05-14 | 2020-08-28 | 哈尔滨工业大学（威海） | 基于分段拟合分析及评估的民航发动机气路异常检测方法 |
| CN112148955A (zh) * | 2020-10-22 | 2020-12-29 | 南京航空航天大学 | 一种物联网时序数据异常检测方法及系统 |
| CN113067754A (zh) * | 2021-04-13 | 2021-07-02 | 南京航空航天大学 | 一种半监督时间序列异常检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 张怀峰;江婧;张香燕;皮德常;: "面向卫星电源系统的一种新颖异常检测方法", 宇航学报, no. 12 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114301719A (zh) * | 2022-03-10 | 2022-04-08 | 中国人民解放军国防科技大学 | 一种基于变分自编码器的恶意更新检测方法及模型 |
| CN114301719B (zh) * | 2022-03-10 | 2022-05-13 | 中国人民解放军国防科技大学 | 一种基于变分自编码器的恶意更新检测方法及系统 |
| CN115114345A (zh) * | 2022-04-02 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 特征表示的提取方法、装置、设备、存储介质及程序产品 |
| CN115114345B (zh) * | 2022-04-02 | 2024-04-09 | 腾讯科技（深圳）有限公司 | 特征表示的提取方法、装置、设备、存储介质及程序产品 |
| CN114550460A (zh) * | 2022-04-25 | 2022-05-27 | 中国科学院自动化研究所 | 轨道交通异常检测方法、装置及存储介质 |
| CN114550460B (zh) * | 2022-04-25 | 2022-07-12 | 中国科学院自动化研究所 | 轨道交通异常检测方法、装置及存储介质 |
| CN115018012A (zh) * | 2022-07-21 | 2022-09-06 | 北京航空航天大学 | 一种高维度特性下的物联网时间序列异常检测方法及系统 |
| CN115018021A (zh) * | 2022-08-08 | 2022-09-06 | 广东电网有限责任公司肇庆供电局 | 基于图结构与异常注意力机制的机房异常检测方法及装置 |
| CN115018021B (zh) * | 2022-08-08 | 2023-01-20 | 广东电网有限责任公司肇庆供电局 | 基于图结构与异常注意力机制的机房异常检测方法及装置 |
| CN115080964A (zh) * | 2022-08-16 | 2022-09-20 | 杭州比智科技有限公司 | 基于图深度学习的数据流转异常检测方法及系统 |
| CN116662811B (zh) * | 2023-06-13 | 2024-02-06 | 无锡物联网创新中心有限公司 | 一种工业设备的时序状态数据重构方法及相关装置 |
| CN116662811A (zh) * | 2023-06-13 | 2023-08-29 | 无锡物联网创新中心有限公司 | 一种工业设备的时序状态数据重构方法及相关装置 |
| CN116933195A (zh) * | 2023-07-31 | 2023-10-24 | 浙江大学 | 一种基于深度学习的加密流量异常检测方法及装置 |
| CN116702083B (zh) * | 2023-08-10 | 2023-12-26 | 武汉能钠智能装备技术股份有限公司四川省成都市分公司 | 一种卫星遥测数据异常检测方法及系统 |
| CN116702083A (zh) * | 2023-08-10 | 2023-09-05 | 武汉能钠智能装备技术股份有限公司四川省成都市分公司 | 一种卫星遥测数据异常检测方法及系统 |
| CN117034175A (zh) * | 2023-10-07 | 2023-11-10 | 北京麟卓信息科技有限公司 | 一种基于通道融合自注意力机制的时序数据异常检测方法 |
| CN117034175B (zh) * | 2023-10-07 | 2023-12-05 | 北京麟卓信息科技有限公司 | 一种基于通道融合自注意力机制的时序数据异常检测方法 |
| CN117556311A (zh) * | 2024-01-11 | 2024-02-13 | 电子科技大学 | 一种基于多维特征融合的无监督时间序列异常检测方法 |
| CN117556311B (zh) * | 2024-01-11 | 2024-03-19 | 电子科技大学 | 一种基于多维特征融合的无监督时间序列异常检测方法 |
| CN117786374A (zh) * | 2024-02-28 | 2024-03-29 | 南京信息工程大学 | 一种基于图神经网络的多变量时序异常检测方法及系统 |
| CN117786374B (zh) * | 2024-02-28 | 2024-05-14 | 南京信息工程大学 | 一种基于图神经网络的多变量时序异常检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114065862B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114065862A (zh) | 一种多维时序数据异常检测方法和系统 | |
| Chen et al. | Anomaly detection and critical SCADA parameters identification for wind turbines based on LSTM-AE neural network | |
| Chen et al. | Anomaly detection for wind turbines based on the reconstruction of condition parameters using stacked denoising autoencoders | |
| CN112131272B (zh) | 多元kpi时间序列的检测方法、装置、设备及存储介质 | |
| Deng et al. | LSTMED: An uneven dynamic process monitoring method based on LSTM and Autoencoder neural network | |
| CN111488807A (zh) | 基于图卷积网络的视频描述生成系统 | |
| CN111504676A (zh) | 基于多源监控数据融合的设备故障诊断方法、装置及系统 | |
| CN113095402B (zh) | 一种基于编码输入的生成对抗网络故障检测方法及系统 | |
| CN104880217B (zh) | 一种基于测量值关联度的故障传感器信息重构方法 | |
| CN108549908A (zh) | 基于多采样概率核主成分模型的化工过程故障检测方法 | |
| Zhang et al. | Missing measurement data recovery methods in structural health monitoring: The state, challenges and case study | |
| Zhu et al. | A coupled model for dam foundation seepage behavior monitoring and forecasting based on variational mode decomposition and improved temporal convolutional network | |
| CN115018012B (zh) | 一种高维度特性下的物联网时间序列异常检测方法及系统 | |
| Xie et al. | Anomaly detection for multivariate times series through the multi-scale convolutional recurrent variational autoencoder | |
| Ma et al. | A collaborative central domain adaptation approach with multi-order graph embedding for bearing fault diagnosis under few-shot samples | |
| CN117076171A (zh) | 一种面向多元时序数据的异常检测及定位方法及装置 | |
| CN117313015A (zh) | 一种基于时序和多变量的时间序列异常检测方法及系统 | |
| CN116975728A (zh) | 用于煤层气钻井工程的安全管理方法及其系统 | |
| Zhai et al. | A degradation fault prognostic method of radar transmitter combining multivariate long short-term memory network and multivariate Gaussian distribution | |
| Liu et al. | A CNN-LSTM-based domain adaptation model for remaining useful life prediction | |
| CN117330890B (zh) | 输电线路故障诊断系统及方法 | |
| CN117909881A (zh) | 多源数据融合的抽油机的故障诊断方法及装置 | |
| CN112766810A (zh) | 用于智能综合性整体质量评价的神经网络的训练方法 | |
| Hou et al. | A bearing remaining life prediction method under variable operating conditions based on cross-transformer fusioning segmented data cleaning | |
| CN116821831A (zh) | 电力智能巡检系统及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |