CN116361673A - 准周期时间序列无监督异常检测方法、系统及终端 - Google Patents

准周期时间序列无监督异常检测方法、系统及终端 Download PDF

Info

Publication number
CN116361673A
CN116361673A CN202310640680.2A CN202310640680A CN116361673A CN 116361673 A CN116361673 A CN 116361673A CN 202310640680 A CN202310640680 A CN 202310640680A CN 116361673 A CN116361673 A CN 116361673A
Authority
CN
China
Prior art keywords
quasi
sequence
periodic time
layer
anomaly detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310640680.2A
Other languages
English (en)
Other versions
CN116361673B (zh
Inventor
郑德生
孙涵明
李晓瑜
唐晓澜
万虎
贾慧雪
钱伟中
周永
张恒汝
刘科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Southwest Petroleum University
Original Assignee
University of Electronic Science and Technology of China
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China, Southwest Petroleum University filed Critical University of Electronic Science and Technology of China
Priority to CN202310640680.2A priority Critical patent/CN116361673B/zh
Publication of CN116361673A publication Critical patent/CN116361673A/zh
Application granted granted Critical
Publication of CN116361673B publication Critical patent/CN116361673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Fuzzy Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了准周期时间序列无监督异常检测方法、系统及终端，属于时间序列异常检测技术领域，包括：对准周期时间序列进行分割处理；对准周期时间子序列进行聚类处理，得到正常准周期时间子序列构成的数据集；基于数据集对神经网络模型进行训练，得到无监督异常检测模型。本发明先对准周期时间序列进行分割处理，使得后续异常检测过程中以准周期时间子序列作为检测对象，使得后续异常检测结果具有可解释性；同时，通过聚类进行预处理，再通过正常准周期时间子序列对模型进行训练，使模型学习正常准周期时间子序列的数据分布从而能够在输入所有数据时对于异常数据有着更大的重构损失，实现准周期时间子序列无监督异常检测。

Description

准周期时间序列无监督异常检测方法、系统及终端
技术领域
本发明涉及时间序列异常检测技术领域，尤其涉及一种准周期时间序列无监督异常检测方法、系统及终端。
背景技术
在时间序列异常检测领域中，有监督算法往往表现形式为基于分类的算法形式。大量的标记数据以及手动定义的特征或从深度模型中学习到的隐藏变量是有监督分类方法所需要的；如果标记数据足够丰富，基于监督学习的异常检测方法可以获得较高的准确性，然而基于无监督、半监督形式的异常检测方法则不具备这样的优势。
现有技术一种基于深度学习的有监督的时间序列异常检测方法，称为多头CNN（卷积神经网络）-RNN（循环神经网络），该方法以不同的方式结合了 CNN 和 RNN，使用独立的CNN 处理多传感器系统中的异常检测，针对每个传感器检测的数据进行单独处理，避免数据预处理的需要；同时 RNN 用于捕捉时间序列的长期依赖性。然而，在实际应用中，通常很难获得带有标记的数据。此外，考虑到异常标签较少导致的数据不平衡问题，基于有监督的异常检测算法在异常检测领域研究并不多，同时也很难进一步推广至其他应用场景中。
然而在准周期时间序列（QTS）准周期异常检测算法领域，现有主流QTS异常检测算法的核心思想都是将QTS异常检测转化为有监督分类问题，即通过时间序列分割算法将QTS分割成一个个准周期，接着为每个准周期打上相应的检测标签，采用有监督模型完成分类，同样也只能应用于标记数据足够丰富的应用场景中。
基于预测的深度学习模型被训练来预测给定输入序列的下一个值，这种方法也可用于异常检测。该方法常采用半监督学习的方式，一般在正常数据上进行训练，一旦训练充分，就可以通过将预测值与传感器记录的实际值进行比较进而检测异常；若误差超过了一个预定义的阈值，则可以将该样本标记为异常样本。如现有技术一种基于堆叠LSTM网络（长短期记忆网络）的算法LSTM-AD，用于在时间序列中进行异常/故障检测。该算法的训练基于非异常数据，并在多个时间步长下用作预测器。在训练完成后，预测误差通常会被建模为一个多元高斯分布，以评估异常行为的可能性。
现有技术的缺陷和不足：
1.当前算法缺少在无监督场景下的应用。目前的算法更倾向于采用有监督的方式对分割得到的准周期进行异常检测；但是在实际场景下，大量的QTS可能仅仅包含少数的异常，且事先是不知道标签的，这需要相关领域的专家对标签进行标记；即使采用有监督的方式训练好模型，对于一些新的异常还需要继续标记和学习，因此采用无监督学习的方式训练模型更符合实际场景下的需求。
2.当前基于无监督学习的算法得到的异常结果缺乏可解释性。当前在数量不多的基于无监督学习的QTS异常检测算法研究中，其研究焦点通常是对于异常点的检测，并没有在异常检测之前对QTS进行有效分割，而相较于这些异常点，其对于异常模式也就是异常子序列的检测显然更有价值，比如对于心电图的异常数据往往对应于异常心跳，也就是一个异常准周期而不是一个异常数据点。
发明内容
本发明的目的在于克服现有技术的问题，提供了一种准周期时间序列无监督异常检测方法、系统及终端。
本发明的目的是通过以下技术方案来实现的：一种准周期时间序列无监督异常检测方法，该方法包括以下步骤：
对准周期时间序列进行分割处理，得到准周期时间子序列；
对准周期时间子序列进行聚类处理，得到正常准周期时间子序列构成的数据集；
基于数据集对神经网络模型进行训练，得到能够实现准周期时间子序列无监督异常检测的检测模型。
在一示例中，分割处理算法为基于两级聚类的准周期时间序列分割算法TCQSA，或基于图结构的社区检测算法，或基于图结构的社区检测算法与聚类算法的分割处理结合算法。
在一示例中，聚类处理算法为具有噪声的基于密度的聚类算法DBSCAN。
在一示例中，所述神经网络模型为LSTM网络或自编码器或生成式对抗网络或图神经网络。
在一示例中，当神经网络为自编码器时，数据处理过程包括：
编码器中若干通道叠加的编码层提取正常准周期时间子序列的特征信息，将特征信息依次经池化处理、上采样处理后输出至解码器；
解码器中若干通道叠加的解码层与同尺度下编码层通过注意力模块跳跃连接，以捕获编码层不同时间点的时序注意力权重参数，进而将时序注意力权重参数叠加至同尺度解码层，计算输入的正常准周期时间子序列的重构损失，将损失值高于阈值的准周期判定为异常准周期，损失值低于阈值的判定为正常准周期，阈值的选择采用三西格玛准则原则，阈值为所有损失值的均值与三倍损失值的标准差之和。
在一示例中，捕获时序注意力权重参数包括：
对解码器中解码层的输入进行转置处理，提取时序注意力权重，然后进行池化处理、卷积处理，并经激活函数进行映射处理，得到注意力权重系数；同时，同尺度编码层输入的特征信息与注意力权重系数进行点乘处理，点乘处理结果与同尺度编码层输入进行叠加，得到最终的时序注意力权重参数。
需要进一步说明的是，上述方法各示例对应的技术特征可以相互组合或替换构成新的技术方案。
本发明还包括一种准周期时间序列无监督异常检测系统，与上述任一示例或者多个示例组合形成的检测方法具有相同的技术构思，该系统包括：
分割单元，用于对准周期时间序列进行分割处理，得到准周期时间子序列；
聚类单元，用于对准周期时间子序列进行聚类处理，得到正常准周期时间子序列构成的数据集；
训练单元，用于基于数据集对神经网络模型进行训练，得到能够实现准周期时间子序列无监督异常检测的检测模型。
在一示例中，所述神经网络模型为自编码器，包括编码器和解码器，编码器与解码器依次经第一池化层、上采样层连接；编码器包括若干顺次连接的编码层，编码层之间通道叠加后经第一卷积层进行压缩处理；解码器包括若干顺次连接的解码层，解码层之间通道叠加后经第二卷积层进行数据重构处理，且编码层、解码层之间经注意力模块跳跃连接。
在一示例中，所述注意力模块包括顺次连接的转置层、第二池化层、第三卷积层和激活函数层，解码层与转置层连接，编码层与激活函数层点乘处理后与编码层叠加处理作为模块输出。
需要进一步说明的是，上述系统各示例对应的技术特征可以相互组合或替换构成新的技术方案。
本发明还包括一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一示例或多个示例组成形成的所述准周期时间序列无监督异常检测方法的步骤。
本发明还包括一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一示例或多个示例形成的所述准周期时间序列无监督异常检测方法的步骤。
与现有技术相比，本发明有益效果是：
1.在一示例中，本发明先对准周期时间序列进行分割处理，使得后续异常检测过程中以准周期时间子序列作为检测对象，而非以准周期时间子序列中某一个数据点作为一检测对象，使得后续异常检测结果具有可解释性；同时，本发明先通过聚类进行预处理，去除了异常准周期时间序列，进而通过正常准周期时间子序列对模型进行训练，使模型学习正常准周期时间子序列的数据分布从而能够在输入所有数据时对于异常数据（异常准周期时间子序列）有着更大的重构损失，当训练完成后，后续无需对输入数据进行标签处理，即可实现准周期时间子序列无监督异常检测。
2.在一示例中，本发明在模型中引入了时间注意力机制，同时关注编码器和解码器对应层的权重信息，在模型迭代训练过程中会同等程度优化编码器特征提取参数和解码器的重构参数，使得自编码器能够更好地重构正常数据，提高数据重构准确度和鲁棒性，以此保证异常检测的精准度。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明，此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明一示例中的方法流程图；
图2为本发明一示例中自编码器结构示意图；
图3为本发明一示例中注意力模块结构示意图；
图4为本发明优选示例方法流程图；
图5为采用本发明方法进行异常检测的检测结果示意图。
图中：11-正常准周期时间子序列；12-异常准周期时间子序列。
具体实施方式
下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，属于“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方向或位置关系为基于附图所述的方向或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，使用序数词 (例如，“第一和第二”、“第一至第四”等 )是为了对物体进行区分，并不限于该顺序，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
针对真实生产环境下准周期时间序列异常标签过少不足，人工标记耗时耗力的问题，本发明提出了一种准周期时间序列无监督异常检测方法，包括采用聚类算法对分割得到的所有准周期时间子序列进行聚类，最后得到相应的正常准周期模式的正常准周期时间子序列作为神经网络模型的训练集，将该训练集输入至神经网络模型进行无监督训练，实现了准周期时间序列QTS无监督异常检测。
在一示例中，如图1所示，一种准周期时间序列无监督异常检测方法，以处理心跳数据为例进行说明，该方法具体包括以下步骤：
S1：对准周期时间序列进行分割处理，得到准周期时间子序列；
S2：对准周期时间子序列进行聚类处理，得到正常准周期时间子序列构成的数据集；
S3：基于数据集对神经网络模型进行训练，得到能够实现准周期时间子序列无监督异常检测的检测模型。
可选地，步骤S1中，对准周期时间序列进行分割处理的算法可以为基于两级聚类的准周期时间序列分割算法TCQSA，或基于图结构的社区检测算法，或基于图结构的社区检测算法与聚类算法的分割处理结合算法或滑动窗口法（采用滑动窗口技术将准周期时间序列划分为一组等长的子序列）。通过考虑信号的采样率、心率的正常范围和正常的运动速度，本示例中，对每个准周期点左右两边分别截断128个数据点从而得到序列长度为256的准周期时间子序列。
步骤S2中，正常准周期时间子序列表示符合当前类型时序序列规律的数据序列，反之，异常准周期时间子序列表示不符合当前类型时序序列规律的数据序列，本实施例中，正常准周期时间子序列表示符合心跳规律的时间序列。进一步地，聚类算法包括不限于K-means算法、具有噪声的基于密度的聚类算法DBSCAN等。本发明为了保证整体训练过程是在无监督环境下进行，采用了基于DBSCAN的轨迹聚类算法思想，用无监督的方式将占据整个划分准周期数据集的正常准周期时间子序列最大程度进行聚合，以构建正常准周期（准周期时间子序列）数据集，进而对模型进行训练，使得模型能够充分地学习到正常准周期的数据分布，最后通过重构所有样本数据筛选出重构损失高的准周期判定为异常准周期。具体地，DBSCAN聚类处理包括以下步骤：
输入：参数（ε,MinPts），数据集D=(x1,x2,x3……,xm)，m用于表示样本个数；
输出：划分簇；
（1）对变量进行初始化；包括核心对象集合（初始为空集）、聚类后的簇数（初始为0)、还没有访问到的集合（初始为数据集D)、簇的划分（初始为空集)；
(2）找到所有的核心对象点；循环遍历数据集，j的取值从1到m：
a）设定一个阈值，计算所有样本距离，得到样本x的c-邻域样本集合
b）对所得到的样本集合个数进行计数，如果大于MinPts，则xj为核心对象样本，并入到核心对象样本集合；
(3）随机遍历核心对象样本中的每一个核心样本，进行步骤（4），并剔除，知道核心样本集合为空；
(4）对于随机选择的核心对象，为其初始化一些变量，包括当前簇核心对象队列、类别序号(k++)，当前簇样本集合（初始只包含所选取的随即核心样本)，将已访问点剔除；
(5）当前的核心对象队列为空时，就表示一个簇聚类已经生成，更新簇划分，将选中的核心对象从集合中排除，并转入步骤（3)；
(6）从当前核心对象队列取出另一个核心对象，将其邻域点加入当前簇样本集合，并从未访问的样本几何中提出；转入步骤（5）；
输出结果：划分为多个簇的簇集合C=(C1,C2,C3……,Ck)，k用于表示簇个数。
优选地，进一步对上述DBSCAN算法进行优化，即：先设置较大的扫描半径和最小包含点数以能够将大多数互相相距较近的正常点聚在一起，随后设置更大的扫描半径和更小的最小包含点数对第一次聚类得到的异常数据进行聚类，将相距稍远的正常点也聚合成簇，迭代判断是否有新的正常簇被聚合，若有，则继续迭代扫描；若没有，则将之前得到的所有正常簇合并得到最后的正常数据集，以此尽可能多的获得正常准周期时间子序列。其中，第一次扫描时：较大扫描半径范围为0.4-0.6，扫描半径的增长步长为0.005-0.02，最小包含点数范围为20%-40%；第二次扫描时，扫描半径范围为第一次扫描半径的1倍-1.2倍，且第二次扫描时的最小包含点数为第一次扫描时最小包含点数的2/25-1/5；本发明第一次设置的扫描半径为0.5，若没有扫描到簇就依次+0.01一直扫描得到簇，最小包含点数为数据总量的30%。第二次扫描半径设置为第一次扫描半径的1.1倍，最小包含点数为第一次的1/10。通过此种方法刚开始扫描时可以较为严格地将正常准周期序列挑选出来，而对于剩下违背挑选的数据点依旧存在正常准周期子序列，因此根据第一次获取到正常数据点的参数进行缩放（降低一定的要求）再次进行扫描从而挑选出更多的正常数据点。
可选地，在构建正常转周期时间子序列形成的数据集后，采用带通滤波对每个正常准周期进行滤波，截止频率为2 Hz和20 Hz，截止频率值是在实践中处理时序信号的常用值。带通滤波器消除了正常准周期中的大部分高频噪声和基线中的漂移，进一步地提高了之后QTS无监督异常检测的有效性。
步骤S3对神经网络进行训练，即：使模型能够充分学习正常准周期时间子序列的数据分布，进而使得异常准周期的输出得到较高的损失值，以此达到识别异常准周期时间子序列的能力，根据模型的输出通过反向传播不断调整模型参数，实现对模型的训练。
本发明先对准周期时间序列进行分割处理，使得后续异常检测过程中以准周期时间子序列作为检测对象，而不是准周期时间子序列中某一个数据点作为一检测对象，使得后续异常检测结果具有可解释性；同时，本发明先通过聚类进行预处理，去除了异常准周期时间序列，进而通过正常准周期时间子序列对模型进行训练，使模型学习正常准周期时间子序列的数据分布从而能够在输入所有数据时对于异常数据有着更大的重构损失，当训练完成后，后续无需对输入数据进行标签处理，即可实现准周期时间子序列无监督异常检测。
在一示例中，神经网络模型为LSTM网络或自编码器或生成式对抗网络或图神经网络，优选为自编码器。具体地，本发明提出了一种基于时序注意力的时间卷积网络自编码器TATCN-AE，如图2所示，自编码器包括编码器和解码器，编码器与解码器依次经平均池化层（第一池化层）、上采样层连接；编码器包括N层顺次连接的编码层，各编码层之间通道叠加连接，即前N个编码层的输出在通道维度进行叠加后，使用一维卷积（第一卷积层）进行压缩处理减少通道数，本示例中N为4；解码器包括N层顺次连接的解码层，各解码层的输出在通道维度进行叠加连接，并对叠加后的数据进行一维卷积（第二卷积层）重构，本示例中N为4，最后同尺度编码层、解码层之间经注意力模块跳跃连接。优选地，编码层、解码层结构相同，均包括顺次连接的扩张卷积层和一维卷积层（1D卷积层），其中在编码器中第一编码层、第二编码层、第三编码层、第四编码层中的扩张卷积层的扩张率分别为1、2、4、8，解码器中第一解码层、第二解码层、第三解码层、第四解码层中扩张卷积层的扩张率分别为8、4、2、1。自编码器作为一种深度学习模型组织结构，在本发明中是多层不同规格的时间卷积网络进行一定的组织叠加，基于反向传播算法与最优化方法（如梯度下降法）进行数据处理，利用输入数据本身作为监督，指导神经网络尝试学习一个映射关系，从而得到一个重构输出 ；自编码器的输入 x 与输出y 相同，通过最小化输出 y 与输入x之间的误差，实现对自编码器模型的训练。
此时，自编码器的数据处理过程（训练和/或异常检测过程）包括：
编码器中若干通道叠加的编码层提取正常准周期时间子序列的特征信息，对特征信息依次经池化处理、上采样处理后输出至解码器；同时，解码器中若干通道叠加的解码层与同尺度下编码层通过注意力模块跳跃连接，以捕获编码层不同时间点的时序注意力权重参数，进而将时序注意力权重参数叠加至同尺度解码层，计算输入的正常准周期时间子序列的重构损失，将损失值高于阈值的准周期判定为异常准周期，损失值低于阈值的判定为正常准周期。
更为具体地，自编码器通过扩张卷积增大感受野，然后基于因果卷积提取时序数据特征，通过在每一层扩张卷积层后都会通过一层卷积核尺寸为1的1D卷积层，使其能够在不影响性能的情况下减少模型参数，提高计算效率；再通过平均池化方式压缩提取时序向量的高维特征。此外，该模型还通过跳跃连接的方式确保浅层特征的可重用性。在此模型基础上，本发明引入了对于数据时间步的注意力机制，基于解码器每一层输入学习到不同时间点的权重并与同尺度下编码器进行相乘累加，使模型进行更好地解码重构编码向量，从而更好地学习到正常准周期的数据分布，提高最后的异常检测结果。
需要进一步说明的是，自编码器中若未加入注意力机制，那么编码器和解码器之间除了第一池化层进行连接外无其他连接，本发明引入注意力机制的作用是捕获编码器阶段不同数据点的权重参数，并将其叠加到解码器中，使其可以参照编码的权重分布对降维后的数据进行解码还原，从而提高解码准确度。
在一示例中，注意力模块结构如图3所示，包括顺次连接的转置层、第二池化层（全局平均池化层）、第三卷积层（一维自适应卷积）和sigmoid激活函数层，解码与转置层连接，编码层与激活函数层点乘处理后与同尺度编码层叠加处理作为模块输出。具体地，此时主要是对解码器的每层卷积特征图输入进行注意力系数的计算。具体地，首先将解码器的输入的时间步T和通道数C进行转置处理，随后采用平均池化操作将第二维度的通道数压缩成1维，使其在保持时间步数不变的情况下获得对于通道维度的全局感受野，之后采用1个一维卷积核对其进行卷积操作，使得每个时间步与相邻时间步进行信息交互，共享权重，其中一维卷积层中卷积核的核尺寸大小的选取，关于核尺寸大小k计算的自适应公式为：
Figure SMS_1
其中，C表示输入至一维卷积层中卷积核的数据通道数；odd表示奇数，表示对计算结果向上取整后取该整数最近的奇数，因此基于此公式本发明模型最后计算得到了自适应核尺寸大小为3。最后通过sigmoid函数输出大小为0-1的注意力权重系数，并将注意力权重系数与同尺度的编码器层的时序特征图输入进行相乘，并与该编码层输入进行叠加，输出最终的注意力值（时序注意力权重参数）。
本发明注意力模块具有轻量级以及自适应两个特点。具体地，一方面本发明注意力机制避免将最常使用的全连接层替换为卷积层，目的是在保留数据信息的同时能够快速对数据进行提取，而这其中卷积操作可以对全数据并发进行，因此可以在短时间内提取数据权重分布，使其具有轻量级特点；另一方面，本发明采用一维自适应卷积操作，在对基于注意力机制的模型进行训练时，注意力机制会根据不同数据长度和大小自适应调节卷积核，使得注意力机制对应不同长度大小的数据都能较为准确地提取数据特征，即具有自适应性特点。
本发明在模型中引入了时间注意力机制，对输入时序数据的时间步进行注意力特征提取，结合注意力模块结构，能够避免通道降维，不仅能够减少模型的参数数量并且能够更好地保留数据的时序特征信息；同时，引入时间注意力机制，同时关注了编码器和解码器对应层的权重信息，在模型迭代训练过程中会同等程度优化编码器特征提取参数和解码器的重构参数，使得自编码器能够更好地重构正常数据，提高数据重构准确度和鲁棒性，以此保证异常检测的精准度。
优选地，将上述示例进行组合，得到本发明优选示例，如图4所示，此时本发明方法包括以下步骤：
S1’： 对每个准周期点左右两边分别截断128个数据点从而得到序列长度为256的准周期时间子序列；
S2’： 对准周期时间子序列进行DBSCAN聚类处理，得到正常准周期时间子序列构成的数据集；
S3’：对自编码器TATCN-AE进行训练，使模型输入与输出间达到误差阈值，实现对自编码器的训练，使模型具有实现准周期时间子序列无监督异常检测能力的检测模型，即：此时将已完成分割的准周期时间子序列输入该模型，即可实现准周期时间子序列的无监督异常检测。
为说明本发明异常检测方法的检测性能，现将心跳数据输入本发明优选示例已经完成训练的检测模型，此时模型能够准确识别异常准周期时间子序列如图5所示，图中11为正常准周期时间子序列，12为异常准周期时间子序列，图中网格间隔为0.2s，单网格电压为0.5mV；测心电图的时，不同节点间的电流获取到的信号会命名成不同的导联信号，MLII、V5分别为两类导联的名称。通过图5可以看出，本发明方法能够准确检测出异常准周期时间子序列，而非对异常准周期时间子序列中某一个数据点进行监测，使得对心跳数据的监测具有可解释性，使本发明算法具有实际应用价值。
本实施例还提供了一种存储介质，与上述任一示例或多个示例组合形成的准周期时间序列无监督异常检测方法具有相同的发明构思，其上存储有计算机指令，所述计算机指令运行时执行上述任一示例或多个示例组合形成的所述准周期时间序列无监督异常检测方法的步骤。
基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还包括一种终端，与上述准周期时间序列无监督异常检测方法对应的任一示例或多个示例组合具有相同的发明构思，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述准周期时间序列无监督异常检测方法的步骤。处理器可以是单核或者多核中央处理单元或者特定的集成电路，或者配置成实施本发明的一个或者多个集成电路。
在一示例中，终端即电子设备以通用计算设备的形式表现，电子设备的组件可以包括但不限于：上述至少一个处理单元（处理器）、上述至少一个存储单元、连接不同系统组件(包括存储单元和处理单元)的总线。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元执行，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元可以执行上述准周期时间序列无监督异常检测方法。
存储单元可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)3201和/或高速缓存存储单元，还可以进一步包括只读存储单元(ROM)。
存储单元还可以包括具有一组(至少一个)程序模块的程序/实用工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本示例性实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行本申请示例性实施例的方法。
本发明还包括一种准周期时间序列无监督异常检测系统，该系统包括顺次连接的分割单元、聚类单元和训练单元。其中，分割单元用于对准周期时间序列进行分割处理，得到准周期时间子序列；聚类单元用于对准周期时间子序列进行聚类处理，得到正常准周期时间子序列构成的数据集；训练单元用于基于数据集对神经网络模型进行训练，得到能够实现准周期时间子序列无监督异常检测的检测模型。
在一示例中，神经网络模型为自编码器，如图2所示，自编码器包括编码器和解码器，编码器与解码器依次经平均池化层（第一池化层）、上采样层连接；编码器包括顺次连接的第一编码层、第二编码层、第三编码层、第四编码层，各编码层层之间通道叠加连接，即第一编码层、第二编码层、第三编码层、第四编码层的输出在通道维度进行叠加后，使用一维卷积（第一卷积层）进行压缩处理减少通道数；解码器包括顺次连接的第一解码层、第二解码层、第三解码层、第四解码层，各解码层之间通道叠加连接，即第一解码层、第二解码层、第三解码层、第四解码层的输出在通道维度进行叠加后，使用一维卷积（第二卷积层）进行重构；最后同尺度编码器中的编码层、解码器中的解码层之间经注意力模块跳跃连接。优选地，编码层、解码层结构相同，包括顺次连接的扩张解码层和一维解码层（1D解码层）。
在一示例中，注意力模块结构如图3所示，包括顺次连接的转置层、第二池化层（全局平均池化层）、第三卷积层（一维自适应卷积）和sigmoid激活函数层，解码器中卷积层与转置层连接，编码层与激活函数层经点乘处理后与同尺度编码层叠加处理作为模块输出。此时，注意力模块先对解码器中解码层的输入进行转置处理，提取时序注意力权重，然后进行池化处理、卷积处理，并经激活函数进行映射处理，得到注意力权重系数；同时，同尺度编码层输入的特征信息与注意力权重系数进行点乘处理，点乘处理结果与同尺度编码层输入进行叠加，得到最终的时序注意力权重参数。本发明混合计算编码器各层数据卷积权重和解码器各层卷积权重（注意力模块的输入包含编码器、解码器两方输入），能够使得模型在进行优化同时对编码器、解码器进行优化，提高数据重构准确度和鲁棒性，以此保证异常检测的精准度。
以上具体实施方式是对本发明的详细说明，不能认定本发明的具体实施方式只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演和替代，都应当视为属于本发明的保护范围。

Claims (10)

1.一种准周期时间序列无监督异常检测方法，其特征在于：包括以下步骤：
对准周期时间序列进行分割处理，得到准周期时间子序列；
对准周期时间子序列进行聚类处理，得到正常准周期时间子序列构成的数据集；
基于数据集对神经网络模型进行训练，得到能够实现准周期时间子序列无监督异常检测的检测模型。
2.根据权利要求1所述准周期时间序列无监督异常检测方法，其特征在于：分割处理算法为基于两级聚类的准周期时间序列分割算法TCQSA，或基于图结构的社区检测算法，或基于图结构的社区检测算法与聚类算法的分割处理结合算法。
3.根据权利要求1所述准周期时间序列无监督异常检测方法，其特征在于：聚类处理算法为具有噪声的基于密度的聚类算法DBSCAN。
4.根据权利要求1所述准周期时间序列无监督异常检测方法，其特征在于：所述神经网络模型为长短期记忆网络或自编码器或生成式对抗网络或图神经网络。
5.根据权利要求4所述准周期时间序列无监督异常检测方法，其特征在于：当神经网络为自编码器时，数据处理过程包括：
编码器中若干通道叠加的编码层提取正常准周期时间子序列的特征信息，将特征信息依次经池化处理、上采样处理后输出至解码器；
解码器中若干通道叠加的解码层与同尺度下编码层通过注意力模块跳跃连接，以捕获编码层不同时间点的时序注意力权重参数，进而将时序注意力权重参数叠加至同尺度解码层，计算输入的正常准周期时间子序列的重构损失，将损失值高于阈值的准周期判定为异常准周期，损失值低于阈值的判定为正常准周期，阈值为所有损失值的均值与三倍损失值的标准差之和。
6.根据权利要求5所述准周期时间序列无监督异常检测方法，其特征在于：捕获时序注意力权重参数包括：
对解码器中解码层的输入进行转置处理，提取时序注意力权重，然后进行池化处理、卷积处理，并经激活函数进行映射处理，得到注意力权重系数；同时，同尺度编码层输入的特征信息与注意力权重系数进行点乘处理，点乘处理结果与同尺度编码层输入进行叠加，得到最终的时序注意力权重参数。
7.一种准周期时间序列无监督异常检测系统，其特征在于：系统包括：
分割单元，用于对准周期时间序列进行分割处理，得到准周期时间子序列；
聚类单元，用于对准周期时间子序列进行聚类处理，得到正常准周期时间子序列构成的数据集；
训练单元，用于基于数据集对神经网络模型进行训练，得到能够实现准周期时间子序列无监督异常检测的检测模型。
8.根据权利要求7所述准周期时间序列无监督异常检测系统，其特征在于：所述神经网络模型为自编码器，包括编码器和解码器，编码器与解码器依次经第一池化层、上采样层连接；编码器包括若干顺次连接的编码层，编码层之间通道叠加后经第一卷积层进行压缩处理；解码器包括若干顺次连接的解码层，解码层之间通道叠加后经第二卷积层进行数据重构处理，且编码层、解码层之间经注意力模块跳跃连接。
9.根据权利要求7所述准周期时间序列无监督异常检测系统，其特征在于：所述注意力模块包括顺次连接的转置层、第二池化层、第三卷积层和激活函数层，解码层与转置层连接，编码层与激活函数层点乘处理后与编码层叠加处理作为模块输出。
10.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于：所述处理器运行所述计算机指令时执行权利要求1-6任意一项所述准周期时间序列无监督异常检测方法的步骤。
CN202310640680.2A 2023-06-01 2023-06-01 准周期时间序列无监督异常检测方法、系统及终端 Active CN116361673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310640680.2A CN116361673B (zh) 2023-06-01 2023-06-01 准周期时间序列无监督异常检测方法、系统及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310640680.2A CN116361673B (zh) 2023-06-01 2023-06-01 准周期时间序列无监督异常检测方法、系统及终端

Publications (2)

Publication Number Publication Date
CN116361673A true CN116361673A (zh) 2023-06-30
CN116361673B CN116361673B (zh) 2023-08-11

Family

ID=86910956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310640680.2A Active CN116361673B (zh) 2023-06-01 2023-06-01 准周期时间序列无监督异常检测方法、系统及终端

Country Status (1)

Country Link
CN (1) CN116361673B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914873A (zh) * 2020-06-05 2020-11-10 华南理工大学 一种两阶段云服务器无监督异常预测方法
CN112416643A (zh) * 2020-11-26 2021-02-26 清华大学 无监督异常检测方法与装置
CN112685476A (zh) * 2021-01-06 2021-04-20 银江股份有限公司 一种具有周期性的多元时间序列异常检测方法及系统
CN113361590A (zh) * 2021-06-03 2021-09-07 电子科技大学 基于多元时间序列的特征融合方法
US20210287071A1 (en) * 2020-03-12 2021-09-16 Morgan State University Method and Apparatus for Augmented Data Anomaly Detection
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN115358306A (zh) * 2022-08-11 2022-11-18 浙江工业大学 一种基于图结构的无监督bgp异常检测方法及系统
KR102471201B1 (ko) * 2021-11-01 2022-11-25 (주)위세아이텍 비지도학습기반 시계열 데이터의 이상치 탐지 및 자동 임계점 시스템
CN115484102A (zh) * 2022-09-16 2022-12-16 上海交通大学宁波人工智能研究院 一种面向工业控制系统的异常检测系统和方法
CN115510909A (zh) * 2022-09-28 2022-12-23 谭笑 一种dbscan进行异常声音特征的无监督算法
CN115688035A (zh) * 2022-10-19 2023-02-03 江苏电力信息技术有限公司 一种基于自监督学习的时序电力数据异常检测方法
US20230071667A1 (en) * 2021-09-08 2023-03-09 SparkCognition, Inc. Neural network input embedding including a positional embedding and a temporal embedding for time-series data prediction
CN116070799A (zh) * 2023-03-30 2023-05-05 南京邮电大学 一种基于注意力及深度学习的光伏发电量预测系统及方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210287071A1 (en) * 2020-03-12 2021-09-16 Morgan State University Method and Apparatus for Augmented Data Anomaly Detection
CN111914873A (zh) * 2020-06-05 2020-11-10 华南理工大学 一种两阶段云服务器无监督异常预测方法
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN112416643A (zh) * 2020-11-26 2021-02-26 清华大学 无监督异常检测方法与装置
CN112685476A (zh) * 2021-01-06 2021-04-20 银江股份有限公司 一种具有周期性的多元时间序列异常检测方法及系统
CN113361590A (zh) * 2021-06-03 2021-09-07 电子科技大学 基于多元时间序列的特征融合方法
US20230071667A1 (en) * 2021-09-08 2023-03-09 SparkCognition, Inc. Neural network input embedding including a positional embedding and a temporal embedding for time-series data prediction
KR102471201B1 (ko) * 2021-11-01 2022-11-25 (주)위세아이텍 비지도학습기반 시계열 데이터의 이상치 탐지 및 자동 임계점 시스템
CN115358306A (zh) * 2022-08-11 2022-11-18 浙江工业大学 一种基于图结构的无监督bgp异常检测方法及系统
CN115484102A (zh) * 2022-09-16 2022-12-16 上海交通大学宁波人工智能研究院 一种面向工业控制系统的异常检测系统和方法
CN115510909A (zh) * 2022-09-28 2022-12-23 谭笑 一种dbscan进行异常声音特征的无监督算法
CN115688035A (zh) * 2022-10-19 2023-02-03 江苏电力信息技术有限公司 一种基于自监督学习的时序电力数据异常检测方法
CN116070799A (zh) * 2023-03-30 2023-05-05 南京邮电大学 一种基于注意力及深度学习的光伏发电量预测系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GOUTAM CHAKRABORTY等: "An Efficient Anomaly Detection in Quasi-Periodic Time Series Data-A Case Study with ECG: Selected Contributions from ITISE 2017", 《 ITISE 2017》, pages 147 - 157 *
ZAHRA ZAMANZADEH DARBAN等: "Deep Learning for Time Series Anomaly Detection: A Survey", 《ARXIV》, pages 1 - 43 *
黄永钦: "基于无监督学习的复杂数据异常检测算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2023, pages 138 - 1211 *

Also Published As

Publication number Publication date
CN116361673B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
EP3910571A1 (en) Methods and systems for server failure prediction using server logs
CN111914873A (zh) 一种两阶段云服务器无监督异常预测方法
WO2021257128A2 (en) Quantum computing based deep learning for detection, diagnosis and other applications
Zhao et al. A novel multivariate time-series anomaly detection approach using an unsupervised deep neural network
EP3312765B1 (en) Anomaly detection by self-learning of sensor signals
KR102361423B1 (ko) 인공지능 기반의 정비 수요 예측 시스템 및 방법
CN116471307B (zh) 物联网异构数据级联传输方法、装置、设备及介质
US20230108916A1 (en) Method and system for forecasting non-stationary time-series
CN111080168B (zh) 一种基于胶囊网络的电力通信网络设备可靠性评估方法
CN114742124A (zh) 一种异常数据处理方法、系统及装置
CN116361673B (zh) 准周期时间序列无监督异常检测方法、系统及终端
CN115438239A (zh) 一种自动化异常样本筛选的异常检测方法及装置
Yu et al. Sequence-to-Sequence Based Beta-VAE Combined with IECA Attention Mechanism for Energy Disaggregation Algorithm
CN115861902B (zh) 无监督的动作迁移和发现方法、系统、设备和介质
CN115801152A (zh) 基于层次化transformer模型的WiFi动作识别方法
CN115712885A (zh) 脑纹识别方法、装置、电子设备和存储介质
CN114528285A (zh) 项目预测方法以及装置
Sheraz et al. EXTREME VALUE ANALYSIS AND RISK ASSESSMENT: A CASE OF PAKISTAN STOCK MARKET.
Wang et al. Stock price forecasting based on wavelet filtering and ensembled machine learning model
CN118094443B (zh) 基于差分多分辨率分解的时间序列异常检测方法及系统
CN117914629B (zh) 一种网络安全检测方法及系统
CN116977708B (zh) 一种基于自适应聚合可视图的轴承智能诊断方法及系统
Thill et al. Temporal con olutional autoencoder for unsuper ised anomal detection in time series., doi: 10.1016/. asoc. 2021.107751 Version: Publisher's Version License: Licensed under rticle 25fa Cop right ct
Tambuwal Online Anomaly Detection for Time Series. Towards Incorporating Feature Extraction, Model Uncertainty and Concept Drift Adaptation for Improving Anomaly Detection
CN116129247A (zh) 一种多模态高压开关的感知方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant