CN110909046A - 时间序列的异常检测方法及装置、电子设备、存储介质 - Google Patents

时间序列的异常检测方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN110909046A
CN110909046A CN201911212340.XA CN201911212340A CN110909046A CN 110909046 A CN110909046 A CN 110909046A CN 201911212340 A CN201911212340 A CN 201911212340A CN 110909046 A CN110909046 A CN 110909046A
Authority
CN
China
Prior art keywords
information
sequence
attention
residual
mean
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911212340.XA
Other languages
English (en)
Other versions
CN110909046B (zh
Inventor
宗文豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Rudder Intelligent Technology Co Ltd
Original Assignee
Shanghai Rudder Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Rudder Intelligent Technology Co Ltd filed Critical Shanghai Rudder Intelligent Technology Co Ltd
Priority to CN201911212340.XA priority Critical patent/CN110909046B/zh
Publication of CN110909046A publication Critical patent/CN110909046A/zh
Application granted granted Critical
Publication of CN110909046B publication Critical patent/CN110909046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供了一种时间序列的异常检测方法及装置、电子设备、存储介质，包括：通过对当前时间序列进行多窗口采样，生成对应的当前序列矩阵；对当前序列矩阵进行编码处理，得到对应的当前编码信息；将当前编码信息输入注意力处理，得到携带注意力信息的当前编码信息；对携带注意力信息的当前编码信息进行序列重构，得到下一时间序列的预测信息；根据下一时间序列的实测信息与预测信息，得到残差序列；遍历残差序列中的每个残差值，当所述残差值落在合理区间外时，则所述残差值对应的下一时间序列中的实测值为异常数据。本发明能够提高回归模型的预测准确性，避免异常检测策略中存在的数据分布强假设的问题。

Description

时间序列的异常检测方法及装置、电子设备、存储介质
技术领域
本发明涉及数据检测领域，尤指一种时间序列的异常检测方法及装置、电子设备、存储介质。
背景技术
无人车装有诸多传感器设备及雷达装置，其采集的行驶数据具有快速、实时和数据流模式的特性，且通常是非平稳状态下的多维时间序列数据，不存在任何监督信息。
传统的异常检测方法包括统计与概率模型、线性模型、基于相似度衡量的模型等，这些方法的出发点都可以概括为相似度估计，估计方法可以通过密度、夹角、距离、超平面划分等等。
由于无人车传感数据中的异常类型较为复杂，依赖传统的异常检测方法无法有效及时检测出异常，也不能全面准确客观的反应无人车的实际行驶状态，而一般的深度学习方法又对一维时间序列数据作用有限，LSTM等常见时间序列建模方法又很难对诸如无人车传感数据之类的超长时间序列进行建模。
针对以上问题，目前业界有利用LSTM在学习和记忆时间序列信息上的优点，构造基于LSTM Encoder-Decoder(LSTM编码器-解码器)的时间序列预测的异常检测算法。这种算法采用纵向结构的双层LSTM，其中底层LSTM(Encoder部分)学习时间序列的向量表示，顶层LSTM(Decoder部分)则基于向量表示对时间序列进行重构。首先采用正常数据训练上述两层模型的参数，然后对带有异常值的数据进行序列重建，由于异常序列及其重建序列之间会产生更大的差异，因此可以利用这部分差异来检测异常序列；最后按照极大似然估计得到的高斯分布带入误差平方计算异常出现的概率，如果超过阈值则判定该序列为异常情况，从而实现异常检测。
此类异常检测方法分为两阶段，首先进行回归建模完成序列重构得到拟合残差，最后基于残差进行异常检测。考虑到无人车传感数据多为非平稳环境下的数据，对于回归建模部分，数据模式变动大导致模型拟合能力不足，数据波动频繁模型很难预测，模型不够灵敏产生异常迟滞将会严重制约下游检测策略。对于残差分析部分，通常没有开箱即用的方案，通常要求数据服从某种特定分布，现有方法很难很好的适应无人车传感数据。
发明内容
本发明的目的之一是为了克服现有技术中存在的至少部分不足，提供一种时间序列的异常检测方法及装置、电子设备、存储介质。
本发明提供的技术方案如下：
一种时间序列的异常检测方法，包括：通过对当前时间序列进行多窗口采样，生成对应的当前序列矩阵；对所述当前序列矩阵进行编码处理，得到对应的当前编码信息；将所述当前编码信息输入注意力处理，得到携带注意力信息的当前编码信息；对所述携带注意力信息的当前编码信息进行序列重构，得到下一时间序列的预测信息；根据所述下一时间序列的实测信息与预测信息，得到残差序列；遍历所述残差序列中的每个残差值，当所述残差值落在合理区间外时，则所述残差值对应的所述下一时间序列中的实测值为异常数据。
进一步地，所述的通过对当前时间序列进行多窗口采样，生成对应的当前序列矩阵，包括：基于滑动窗口的方式获得多个窗口；用所述多个窗口对当前时间序列进行采样，得到若干子序列；将所有子序列组成一矩阵，得到对应的当前序列矩阵。
进一步地，所述注意力处理包括：对输入序列信息进行第一线性映射，得到第一映射信息；对所述输入序列信息进行第二线性映射，得到第二映射信息；对所述输入序列信息进行第三线性映射，得到第三映射信息；根据以下公式计算所述第一映射信息与所述第二映射信息的相关性，得到相关性信息：
Figure BDA0002298474850000031
其中，Q、K为维度信息相同的矩阵，Q为第一映射信息，K为第二映射信息，KT为矩阵K的转置，dK为矩阵K的列数，similarity为Q、K矩阵的相关性信息；采用归一化指数函数对所述相关性信息进行归一化处理，得到注意力权重；根据所述注意力权重调整所述第三映射信息，得到对应的注意力表示，并输出。
进一步地，所述的将所述当前编码信息输入注意力处理，得到携带注意力信息的当前编码信息，之前还包括：获取当前时间序列的前段时间序列；通过对前段时间序列进行多窗口采样，生成对应的前序序列矩阵；对所述前序序列矩阵进行编码处理，得到对应的前序编码信息；将所述前序编码信息输入所述注意力处理，得到携带注意力信息的前序编码信息；融合所述携带注意力信息的前序编码信息与所述当前编码信息，并用融合信息更新所述当前编码信息。
进一步地，所述的将所述当前编码信息输入注意力处理，得到携带注意力信息的当前编码信息，还包括：从以下注意力方式中选择至少两种方式：硬注意力、软注意力、加法注意力、乘法注意力；根据选择的注意力方式，分别对所述当前编码信息进行对应注意力方式的注意力处理；综合所有注意力方式的处理结果，得到携带注意力信息的当前编码信息。
进一步地，所述合理区间的获取包括：初始化候选区间的上界和下界；遍历所述残差序列中的每个残差值，当所述残差值落在所述候选区间外时，则所述残差值为异常点，否则为合理点；统计异常点信息；根据所述异常点信息，计算所述残差序列的均值衰减项和标准差衰减项；根据所述均值衰减项、所述标准差衰减项、和所述异常点信息，计算所述候选区间对应的平均单位异常值；按预设规则调整所述候选区间，得到新候选区间，重复以上过程，计算新候选区间对应的平均单位异常值，直至到达目标候选区间；从所有的平均单位异常值中选取最大值，将所述最大值对应的候选区间作为合理区间。
进一步地，所述的根据所述异常点信息，计算所述残差序列的均值衰减项和标准差衰减项，包括：根据以下公式计算所述残差序列的均值衰减项meandecay：
meandecay-above＝(meanabove-meanabove-normal)/meanabove；
meandecay-below＝(meanbelow-meanbelow-normal)/meanbelow；
meandecay＝(meandecay-above+meandecay-below)/2；
其中，meanabove为所述残差序列中所有大于0的残差值的均值，meanabove-normal为所述残差序列中所有大于0、且不在异常区间中的残差值的均值，meanbelow为所述残差序列中所有小于0的残差值的均值，meanbelow-normal为所述残差序列中所有小于0、且不在异常区间中的残差值的均值；
根据以下公式计算所述残差序列的标准差衰减项：
stddecay-above＝(stdabove-stdabove-normal)/stdabove；
stddecay-below＝(stdbelow-stdbelow-normal)/stdbelow；
stddecay＝(stddecay-above+stddecay-below)/2；
其中，stdabove为所述残差序列中所有大于0的残差值的标准值，stdabove-normal为所述残差序列中所有大于0、且不在异常区间中的残差值的标准值，stdbelow为所述残差序列中所有小于0的残差值的标准值，stdbelow-normal为所述残差序列中所有小于0、且不在异常区间中的残差值的标准值；
根据以下公式计算所述候选区间对应的平均单位异常值mertic：
mertic＝(meandecay+stddecay)/(anomalynums+windownums)
其中，anomalynums为所述异常点的个数、windownums为所述异常区间的数目。
本发明还提供一种时间序列的异常检测装置，包括：采样模块，用于通过对当前时间序列进行多窗口采样，生成对应的当前序列矩阵；编码模块，用于对所述当前序列矩阵进行编码处理，得到对应的当前编码信息；注意力处理模块，用于将所述当前编码信息输入注意力处理，得到携带注意力信息的当前编码信息；解码模块，用于对所述携带注意力信息的当前编码信息进行序列重构，得到下一时间序列的预测信息；异常检测模块，用于根据所述下一时间序列的实测信息与预测信息，得到残差序列；遍历所述残差序列中的每个残差值，当所述残差值落在合理区间外时，则所述残差值对应的所述下一时间序列中的实测值为异常数据。
本发明还提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于运行所述计算机程序时实现前述的时间序列的异常检测方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述的时间序列的异常检测方法。
通过本发明提供的一种时间序列的异常检测方法及装置、电子设备、存储介质，能够带来以下有益效果：
1、本发明通过多窗口采样和注意力机制，使回归模型不仅能关注不同窗口相同时间步的相对关系，也能关注同一窗口内部的相对关系，提高回归模型的预测准确性，从而减少异常检测的误判。
2、本发明通过跨域采样，融合前段时间序列，可以进一步改善LSTM网络时间序列越长、编码效果越差的问题；通过引入多级注意力机制，进一步克服非平稳数据造成的模型拟合能力不足，提升了模型的自适应能力；通过动态阈值方法避免了异常检测策略中存在的数据分布强假设的问题。
3、本发明通过引入多种注意力方式、集成学习，可以更好地向全局最优靠拢/逼近，避免陷入局部最优。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种时间序列的异常检测方法及装置、电子设备、存储介质的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明的一种时间序列的异常检测方法的一个实施例的流程图；
图2是本发明的一种时间序列的异常检测方法的另一个实施例的流程图；
图3是图2中一种注意力处理方式的流程图；
图4是图2中一种通过非参数动态阈值方法获取合理区间的流程图；
图5是本发明的一种时间序列的异常检测方法的另一个实施例的流程图；
图6是本发明的一种时间序列的异常检测装置的一个实施例的结构示意图；
图7是本发明的一种时间序列的异常检测装置的另一个实施例的结构示意图；
图8是注意力处理模块的一种结构示意图；
图9是本发明的一种时间序列的异常检测装置的另一个实施例的结构示意图；
图10是本发明的一种电子设备的一个实施例的结构示意图；
附图标号说明：
100.采样模块，200.编码模块，230.信息融合模块，300.注意力处理模块，600.综合模块，400.解码模块，500.异常检测模块，510.合理区间获取单元，800.电子设备，810.存储器，820.处理器，830.计算机程序。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
在本发明的一个实施例中，如图1所示，一种时间序列的异常检测方法，包括：
步骤S100通过对当前时间序列进行多窗口采样，生成对应的当前序列矩阵；
步骤S200对所述当前序列矩阵进行编码处理，得到对应的当前编码信息；
步骤S400将所述当前编码信息输入注意力处理，得到携带注意力信息的当前编码信息；
步骤S500对所述携带注意力信息的当前编码信息进行序列重构，得到下一时间序列的预测信息；
步骤S600根据所述下一时间序列的实测信息与预测信息，得到残差序列；
步骤S800遍历所述残差序列中的每个残差值，当所述残差值落在合理区间外时，则所述残差值对应的所述下一时间序列中的实测值为异常数据。
具体地，时间序列是由一段时间内的连续采样数据(每个采样数据可能是一维的或多维的)所构成的序列，比如，长度为n的一维时间序列X＝[x1,x2,...,xn]，其中xi是时间序列X的第i个采样点，它代表一个批次的数据。当前时间序列是指当前批次的数据，下一时间序列是指当前时间序列的下一批次数据。
多窗口采样是指用多个窗口对同一时间序列进行采样，获取不同的子序列；其中，各个窗口长度相同、但窗口的起始位置不同，至少存在两个部分交叠的窗口。这样，某些位置至少获得了两遍采样，样点存在不同的子序列中，经过编码处理，同一位置的信息得到了至少两种不同的编码表征方式。
基于多窗口采样可以获得当前时间序列的另一种表达方式，记为当前序列矩阵。可选地，采用滑动窗口的方式获得多个窗口,用得到的多个窗口对当前时间序列进行采样，得到若干子序列；将所有子序列组成一矩阵，得到对应的当前序列矩阵。比如，当前时间序列
Figure BDA0002298474850000081
采用滑动窗口(相邻窗口之间只滑动一步)采样得到当前序列pnow。其中，
Figure BDA0002298474850000082
代表第w个窗口的第t个样本点，
Figure BDA0002298474850000083
等于
Figure BDA0002298474850000084
它们都是针对序列X中同一位置的元素
Figure BDA0002298474850000085
的采样，其他元素有类似情况。
Figure BDA0002298474850000086
举一个具体例子说明，以一维时间序列为例，假设当前时间序列X＝[1,2,3,4,5,6,7,8]，预设窗口长度为5。采用窗口1从序列X中获得子序列1，即[1,2,3,4,5]；将窗口1向后滑动一个步长，得到窗口2，采用窗口2获得子序列2，即[2,3,4,5,6]；将窗口2向后滑动一个步长，得到窗口3，采用窗口3获得子序列3，即[3,4,5,6,7]，如此循环，直至获得子序列4即[4,5,6,7,8]，已得到序列X的最后一个数据，则窗口停止继续滑动。将子序列1-4构成一个矩阵，得到当前时间序列X的矩阵表达为：
Figure BDA0002298474850000087
从以上例子可看出，序列X中大多数元素都获得了多个采样，比如元素5、4有4次采样；从子序列看，元素5获得了4种表达方式，分别是：位于子序列1的第5个位置、子序列2的第4个位置、子序列3的第3个位置、子序列的第2个位置。
分别将pnow中的每个子序列通过编码器(编码器采用LSTM网络)，得到对应的编码子序列，比如，子序列
Figure BDA0002298474850000091
经编码后得到编码子序列
Figure BDA0002298474850000092
子序列
Figure BDA0002298474850000093
经编码后得到编码子序列
Figure BDA0002298474850000094
Figure BDA0002298474850000095
如此循环，得到多个编码子序列；多个编码子序列构成了对应的当前编码信息Hnow：
Figure BDA0002298474850000096
虽然
Figure BDA0002298474850000097
等于
Figure BDA0002298474850000098
但是经过编码处理后，
Figure BDA0002298474850000099
并不等于
Figure BDA00022984748500000910
我们知道，LSTM网络不仅与当前输入序列信息有关系，还与该信息的前后位置、前后元素有关系，
Figure BDA00022984748500000911
与
Figure BDA00022984748500000912
虽然是针对序列X中同一位置的元素
Figure BDA00022984748500000913
的采样，但其在各自的子序列中的位置并不相同，所以编码后的
Figure BDA00022984748500000914
不等于
Figure BDA00022984748500000915
经过上述处理后，针对编码前同一位置的元素，我们可以获得编码后不同的表征方式，从而获得该元素的更多特征信息。
考虑到当前编码信息Hnow中每个元素对生成下一时间序列的每个预测信息的影响力是不同的，所以在Encoder与Decoder之间引入了注意力机制。对Hnow进行注意力处理，得到携带注意力信息的当前编码信息；再对携带注意力信息的当前编码信息进行解码(即序列重构)，预测下一时间序列中的每个值，即获得下一时间序列的预测信息。
可选地，将当前编码信息作为注意力处理的输入序列信息，对该输入序列信息进行第一线性映射，得到第一映射信息；对该输入序列信息进行第二线性映射，得到第二映射信息；对该输入序列信息进行第三线性映射，得到第三映射信息；计算第一映射信息与第二映射信息的相关性，得到相关性信息；对该相关性信息进行归一化处理，得到注意力权重；根据该注意力权重调整第三映射信息，得到对应的注意力表示，并输出。
进一步，可采用公式计算第一映射信息与第二映射信息的相关性：
Figure BDA0002298474850000101
其中，Q、K为维度信息相同的矩阵，Q为第一映射信息，K为第二映射信息，KT为矩阵K的转置，dK为矩阵K的列数，similarity为Q、K矩阵的相关性信息。
采用归一化指数函数对相关性信息进行归一化处理，得到注意力权重。
将注意力权重与第三映射信息相乘，得到对应的注意力表示，并输出。
比如，假设DenseQ为第一线性映射、DenseK为第二线性映射、Densev为第三线性映射，对当前编码信息Hnow分别进行第一线性映射、第二线性映射、第三线性映射处理，得到对应的Q(即第一映射信息)、K(即第二映射信息)、V(即第三映射信息)矩阵。计算Q、K的相关性信息矩阵similarity。对similarity进行归一化处理，得到注意力权重矩阵Weight。Weight与V相乘，得到注意力表示Attn，该值为携带注意力信息的当前编码信息。
具体如下：
Q＝DenseQ(Hnow)；
K＝DenseK(Hnow)；
V＝DenseV(Hnow)；
Figure BDA0002298474850000102
Weight＝softmax(similarity)；
Attn＝similarity×V。
矩阵Q、K、V分别是基于矩阵Hnow的不同的线性映射得到，所以Q、K、V与矩阵Hnow的维度信息相同。当矩阵K的维度信息为n*m时，dK为m。
数据异常的定义：如果实测值与依据其最近的一段时间序列输入回归模型而得到的预测值之间的差值大于预设阈值，则判定该实测值为异常值。
基于以上定义，根据下一时间序列的实测信息与预测信息，得到残差序列。遍历残差序列中的每个残差值，当残差值落在合理区间外时，则该残差值对应的下一时间序列中的实测值为异常数据。
合理区间可依据经验设置，比如，采用传统的K-sigma方法，假定数据分布为正态或近似正态分布，如果数值分布在[μ-3σ,μ+3σ]区间为正常，不在此区间为异常。
Figure BDA0002298474850000111
Figure BDA0002298474850000112
其中，σ代表标准差,μ代表均值，M为残差序列中的元素数目，xi为第i个残差值。
传统的LSTMEncoder-Decoder回归模型，其LSTM的编码能力是不足的，尤其是时间序列越长，编码效果越差。本实施例通过多窗口采样获得了当前时间序列的更多信息，不仅包含了原当前时间序列的信息，还包含了各个子序列的相对位置关系，经编码后，使得相同位置的元素获得了更多的表征方式，即绝对位置相同序列的不同表征方式。
绝对位置可以保证编码后信息在某种程度上与之前是等同的，相同序列的不同表征方式，可以使原有表征信息在里面，还额外引入了相对位置的关系，也就是说，不仅能关注到每个子序列的表征，还能关注到每个子序列是如何开头的。
另外，还在Encoder与Decoder之间引入了注意力机制，使得基于LSTM Encoder-Decoder基本框架构建的回归模型不仅能关注不同窗口相同时间步的相对关系，也能关注同一窗口内部的相对关系，从而克服非平稳数据造成的模型拟合能力不足，提升了模型的自适应能力，提高回归模型的预测准确性。当回归模型预测更准确时，就可以减少异常检测的误判。
在本发明的另一个实施例中，如图2、图3、图4所示，一种时间序列的异常检测方法，包括：
在前述实施例的基础上，用步骤S110代替步骤S100,增加步骤S300～S330、步骤S700，具体地：
步骤S110基于滑动窗口的方式获得多个窗口,用得到的多个窗口对当前时间序列进行采样，得到若干子序列；将所有子序列组成一矩阵，得到对应的当前序列矩阵；
步骤S300获取当前时间序列的前段时间序列,通过对前段时间序列进行多窗口采样，生成对应的前序序列矩阵；
步骤S310对所述前序序列矩阵进行编码处理，得到对应的前序编码信息；
步骤S320将所述前序编码信息输入所述注意力处理，得到携带注意力信息的前序编码信息；
步骤S330融合所述携带注意力信息的前序编码信息与所述当前编码信息，并用融合信息更新所述当前编码信息；
步骤S700获取合理区间。
此外，如图3所示，步骤S400中的注意力处理具体包括：
步骤S410对输入序列信息进行第一线性映射，得到第一映射信息；
步骤S420对所述输入序列信息进行第二线性映射，得到第二映射信息；
步骤S430对所述输入序列信息进行第三线性映射，得到第三映射信息；
步骤S440计算所述第一映射信息与所述第二映射信息的相关性，得到相关性信息；
步骤S450对所述相关性信息进行归一化处理，得到注意力权重；
步骤S460根据所述注意力权重调整所述第三映射信息，得到对应的注意力表示，并输出。
此外，如图4所示，步骤S700具体包括：
步骤S710初始化候选区间的上界和下界；
步骤S720遍历所述残差序列中的每个残差值，当所述残差值落在所述候选区间外时，则所述残差值为异常点，否则为合理点；
步骤S730按预设窗口长度对每个异常点进行外扩，得到对应的异常区间；
步骤S740统计异常区间的数目和异常点的个数；
步骤S750根据所述异常点信息，计算所述残差序列的均值衰减项和标准差衰减项；
步骤S760根据所述均值衰减项、所述标准差衰减项、和所述异常点信息，计算所述候选区间对应的平均单位异常值；
步骤S770判断候选区间是否为目标候选区间；
步骤S780当候选区间不是目标候选区间时，按预设规则更新候选区间；
步骤S790从所有的平均单位异常值中选取最大值，将所述最大值对应的候选区间作为合理区间。
具体地，考虑到当前时间序列信息有限，通过跨域采样机制还引入前段时间序列。前段时间序列为当前时间序列的前一段或前n段时间的时间序列。
对前段时间序列
Figure BDA0002298474850000132
进行多窗口采样，采用与当前时间序列相同的多窗口采样方式，比如滑动窗口的方式，得到前序序列矩阵pgap：
Figure BDA0002298474850000131
将前序序列矩阵pgap通过编码器(采用LSTM网络)得到对应的前序编码信息Hgap。将前序编码信息Hgap输入注意力处理，注意力处理方式如步骤S410-S460所示，处理方式与前一实施例中的当前编码信息的注意力处理类似，只是注意力处理的输入序列信息不同而已，所以注意力处理过程不再重述。
将携带注意力信息的前序编码信息与当前编码信息融合，比如，采用拼接操作，将两者拼接，得到融合信息。用该融合信息更新当前编码信息。
用更新的当前编码信息输入注意力处理，得到携带注意力信息的当前编码信息，注意力处理方式如步骤S410-S460所示，只是注意力处理的输入序列信息为更新的当前编码信息。
对携带注意力信息的当前编码信息进行Decode，得到下一时间序列的预测信息。根据下一时间序列的实测信息与预测信息，得到残差序列。对残差序列进行异常检测。
传统的统计学K-sigma方法的异常检测，对输入数据有一个符合或近似符合正态分布的强假设，这并不适用于无人驾驶场景。无人车传感器设备及雷达装置读取的行驶数据通常是非平稳状态下的时间序列数据，不满足正态分布的强假设。因此合理区间不能简单的设置为[μ-3σ,μ+3σ]区间。
本实施例提出一种非参数动态阈值方法来解决数据分布强假设的问题，通过自适应动态调整k，从而最大化单位异常带来的整体序列分布变化以完成异常检测。具体如下：
S0：初始化k＝1；
S1：根据k值构造候选区间的上界Epsilonhigh和下界Epsilonlow：
Epsilonhigh＝mean+k*sigma；
Epsilonlow＝mean-k*sigma；
其中，mean为残差序列的均值，sigma为残差序列的标准值。
S2：遍历残差序列，判断当前判据下的异常：
(Residual>Epsilonhigh)or(Residual<Epsilonlow)时，Residual被判为异常。
其中，Residual为残差序列中的一个残差值。
S3：创造异常区间error window：
基于异常点通常不是一个孤立的点，所以将异常点外扩为一个异常区间。比如，11月3日的残差被判为异常，假设windowsize＝3，则把11月2日、11月4日的数据也作为异常、放入error window，这样error window共有3个数据，即11月2日、11月3日、11月4日的数据。
error window可能存在多个，通常一个异常点对应一个异常区间。但是当两个异常区间有重叠或连续时，需要合并为一个异常区间。比如，比如，error window1(11月2日、11月3日、11月4日)、error window2(11月5日、11月6日、11月7日)合并为一个errorwindow。
S4：构造优化目标：
优化目标具体分为两部分：
a.根据以下公式计算残差序列的均值衰减项meandecay：
meandecay-above＝(meanabove-meanabove-normal)/meanabove；
meandecay-below＝(meanbelow-meanbelow-normal)/meanbelow；
meandecay＝(meandecay-above+meandecay-below)/2；
其中，meanabove为所述残差序列中所有大于0的残差值的均值，meanabove-normal为所述残差序列中所有大于0、且不在异常区间中的残差值的均值，meanbelow为所述残差序列中所有小于0的残差值的均值，meanbelow-normal为所述残差序列中所有小于0、且不在异常区间中的残差值的均值。
meandecay反映了异常点引入的均值变化占整个均值的贡献。
b.根据以下公式计算残差序列的标准差衰减项stddecay：
stddecay-above＝(stdabove-stdabove-normal)/stdabove；
stddecay-below＝(stdbelow-stdbelow-normal)/stdbelow；
stddecay＝(stddecay-above+stddecay-below)/2；
其中，stdabove为所述残差序列中所有大于0的残差值的标准值，stdabove-normal为所述残差序列中所有大于0、且不在异常区间中的残差值的标准值，stdbelow为所述残差序列中所有小于0的残差值的标准值，stdbelow-normal为所述残差序列中所有小于0、且不在异常区间中的残差值的标准值。
stddecay反映了异常点引入的标准差变化占整个标准差的贡献。
S5:根据以下公式计算候选区间对应的平均单位异常值mertic：
mertic＝(meandecay+stddecay)/(anomalynums+windownums)
其中，anomalynums为所述异常点的个数、windownums为所述异常区间的数目。
S6:调整k值，比如，k值加1，得到新候选区间，重复以上过程(S1-S5)，计算新候选区间对应的平均单位异常值，直至到达目标候选区间(比如k＝3所对应的候选区间)。
从所有的平均单位异常值中选取最大值，将该最大值对应的候选区间作为合理区间。这样，就实现了以最大的单位异常值所对应的候选区间作为合理区间。然后，再根据该合理区间进行异常检测。
本实施例，通过融合前段时间序列，可以进一步改善LSTM网络时间序列越长、编码效果越差的问题；通过引入多级注意力机制，对前段时间序列进行注意力处理、以及对融合了注意力信息的前序编码信息的当前编码信息进行注意力处理，从而采用了不同的关注方式学习序列内部不同的模式，可进一步克服非平稳数据造成的模型拟合能力不足，提升了模型的自适应能力；通过动态阈值方法避免了异常检测策略中存在的数据分布强假设的问题。
在本发明的另一个实施例中，如图5所示，一种时间序列的异常检测方法，包括：
在图2所示实施例的基础上，用步骤S470-S490代替步骤S400，具体为：
步骤S470从以下注意力方式中选择至少两种方式：硬注意力、软注意力、加法注意力、乘法注意力；
步骤S480根据选择的注意力方式，分别对所述当前编码信息进行对应注意力方式的注意力处理；
步骤S490综合所有注意力方式的处理结果，得到携带注意力信息的当前编码信息。
具体地，如前述实施例中的步骤S410-S460所描述的注意力处理是一种软注意力方式。软注意力对所有的数据都会注意，硬注意力方式会在生成注意力权重后筛选掉一部分不符合条件的注意力，让它的注意力权值为0，即不再注意这些不符合条件的部分。
本实施例，引入了多种注意力方式，采用每种方式对当前编码信息进行注意力处理，然后再综合处理后的结果，比如，对处理后的结果进行加和求平均，或取其中的多数意见，得到集成学习后的注意力表示。
集成学习，类似听取多个人对同一个问题的看法，通过综合众人的意见，可以更好地向全局最优靠拢/逼近，避免陷入局部最优。
在本发明的一个实施例中，如图6所示，一种时间序列的异常检测装置，包括：
采样模块100，用于通过对当前时间序列进行多窗口采样，生成对应的当前序列矩阵；
编码模块200，用于对所述当前序列矩阵进行编码处理，得到对应的当前编码信息；
注意力处理模块300，用于将所述当前编码信息输入注意力处理，得到携带注意力信息的当前编码信息；
解码模块400，用于对所述携带注意力信息的当前编码信息进行序列重构，得到下一时间序列的预测信息；
异常检测模块500，用于根据所述下一时间序列的实测信息与预测信息，得到残差序列；遍历所述残差序列中的每个残差值，当所述残差值落在合理区间外时，则所述残差值对应的所述下一时间序列中的实测值为异常数据。
具体地，时间序列是由一段时间内的连续采样数据所构成的序列，它代表一个批次的数据。当前时间序列是指当前批次的数据，下一时间序列是指当前时间序列的下一批次数据。
多窗口采样是指用多个窗口对同一时间序列进行采样。基于多窗口采样获得当前时间序列的另一种表达方式，记为当前序列矩阵。可选地，采用滑动窗口的方式获得多个窗口,用得到的多个窗口对当前时间序列进行采样，得到若干子序列；将所有子序列组成一矩阵，得到对应的当前序列矩阵。比如，当前时间序列
Figure BDA0002298474850000181
采用滑动窗口(相邻窗口之间只滑动一步)采样得到当前序列pnow。将pnow输入编码器(采用LSTM网络)，得到对应的当前编码信息Hnow。
经过上述处理后，针对编码前同一位置的元素，可以获得编码后不同的表征方式，从而获得该元素的更多特征信息。
考虑到当前编码信息Hnow中每个元素对生成下一时间序列的每个预测信息的影响力是不同的，所以在Encoder与Decoder之间引入了注意力机制。对Hnow进行注意力处理，得到携带注意力信息的当前编码信息；再对携带注意力信息的当前编码信息进行解码(即序列重构)，预测下一时间序列中的每个值，即获得下一时间序列的预测信息。
可选地，将当前编码信息作为注意力处理的输入序列信息，对该输入序列信息进行第一线性映射，得到第一映射信息；对该输入序列信息进行第二线性映射，得到第二映射信息；对该输入序列信息进行第三线性映射，得到第三映射信息；计算第一映射信息与第二映射信息的相关性，得到相关性信息；对该相关性信息进行归一化处理，得到注意力权重；根据该注意力权重调整第三映射信息，得到对应的注意力表示，并输出。
进一步，可采用公式计算第一映射信息与第二映射信息的相关性：
Figure BDA0002298474850000191
其中，Q、K为维度相同的矩阵，Q为第一映射信息，K为第二映射信息，KT为矩阵K的转置，dK为矩阵K的列数，similarity为Q、K矩阵的相关性信息。
采用归一化指数函数对相关性信息进行归一化处理，得到注意力权重。
将注意力权重与第三映射信息相乘，得到对应的注意力表示，并输出。
数据异常的定义：如果实测值与依据其最近的一段时间序列输入回归模型而得到的预测值之间的差值大于预设阈值，则判定该实测值为异常值。
基于以上定义，根据下一时间序列的实测信息与预测信息，得到残差序列。遍历残差序列中的每个残差值，当残差值落在合理区间外时，则该残差值对应的下一时间序列中的实测值为异常数据。
合理区间可依据经验设置，比如，采用传统的K-sigma方法，假定数据分布为正态或近似正态分布，如果数值分布在[μ-3σ,μ+3σ]区间为正常，不在此区间为异常。
传统的LSTM Encoder-Decoder回归模型，其LSTM的编码能力是不足的，尤其是时间序列越长，编码效果越差。本实施例通过多窗口采样获得了当前时间序列的更多信息，不仅包含了原当前时间序列的信息，还包含了各个子序列的相对位置关系，经编码后，使得相同位置的元素获得了更多的表征方式，即绝对位置相同序列的不同表征方式。
另外，还在Encoder与Decoder之间引入了注意力机制，使得基于LSTM Encoder-Decoder基本框架构建的回归模型不仅能关注不同窗口相同时间步的相对关系，也能关注同一窗口内部的相对关系，从而克服非平稳数据造成的模型拟合能力不足，提升了模型的自适应能力，提高回归模型的预测准确性。当回归模型预测更准确时，就可以减少异常检测的误判。
在本发明的另一个实施例中，如图7、图8所示，一种时间序列的异常检测装置，包括：
在前述实施例的基础上，做了以下变动，具体地：
采样模块100，用于基于滑动窗口的方式获得多个窗口；用所述多个窗口对当前时间序列进行采样，得到若干子序列；将所有子序列组成一矩阵，得到对应的当前序列矩阵。
采样模块100，进一步用于获取当前时间序列的前段时间序列；通过对前段时间序列进行多窗口采样，生成对应的前序序列矩阵；
编码模块200，进一步用于对所述前序序列矩阵进行编码处理，得到对应的前序编码信息；
注意力处理模块300，进一步用于将所述前序编码信息输入所述注意力处理，得到携带注意力信息的前序编码信息；
信息融合模块230，用于融合所述携带注意力信息的前序编码信息与所述当前编码信息，并用融合信息更新所述当前编码信息。
异常检测模块500，进一步用于获取合理区间，包括：
合理区间获取单元510，用于初始化候选区间的上界和下界；遍历所述残差序列中的每个残差值，当所述残差值落在所述候选区间外时，则所述残差值为异常点，否则为合理点；统计异常点信息；根据所述异常点信息，计算所述残差序列的均值衰减项和标准差衰减项；根据所述均值衰减项、所述标准差衰减项、和所述异常点信息，计算所述候选区间对应的平均单位异常值；按预设规则调整所述候选区间，得到新候选区间，重复以上过程，计算新候选区间对应的平均单位异常值，直至到达目标候选区间；从所有的平均单位异常值中选取最大值，将所述最大值对应的候选区间作为合理区间。
如图8所示，注意力处理模块300包括：
映射单元310，用于对输入序列信息进行第一线性映射，得到第一映射信息；对所述输入序列信息进行第二线性映射，得到第二映射信息；对所述输入序列信息进行第三线性映射，得到第三映射信息；
相关计算单元320，用于计算所述第一映射信息与所述第二映射信息的相关性，得到相关性信息；
归一化单元330，用于对所述相关性信息进行归一化处理，得到注意力权重；
注意力生成单元340，用于根据所述注意力权重调整所述第三映射信息，得到对应的注意力表示，并输出。
具体地，考虑到当前时间序列信息有限，通过跨域采样机制还引入前段时间序列。前段时间序列为当前时间序列的前一段或前n段时间的时间序列。
对前段时间序列进行多窗口采样，采用与当前时间序列相同的多窗口采样方式，比如滑动窗口的方式，得到前序序列矩阵。将前序序列矩阵通过编码器(采用LSTM网络)得到对应的前序编码信息。将前序编码信息输入注意力处理，获得携带注意力信息的前序编码信息。
将携带注意力信息的前序编码信息与当前编码信息融合，比如，采用拼接操作，将两者拼接，得到融合信息。用该融合信息更新当前编码信息。
用更新的当前编码信息输入注意力处理，得到携带注意力信息的当前编码信息。对携带注意力信息的当前编码信息进行Decode，得到下一时间序列的预测信息。根据下一时间序列的实测信息与预测信息，得到残差序列。对残差序列进行异常检测。
本实施例提出一种非参数动态阈值方法来解决数据分布强假设的问题，通过自适应动态调整候选区间，计算并比较每个候选区间的平均单位异常值，从中选取最大值，将该最大值对应的候选区间作为合理区间，再根据该合理区间进行异常检测。这样，通过最大化单位异常来寻找异常点。
本实施例，通过融合前段时间序列，可以进一步改善LSTM网络时间序列越长、编码效果越差的问题；通过引入多级注意力机制，对前段时间序列进行注意力处理、以及对融合了注意力信息的前序编码信息的当前编码信息进行注意力处理，从而采用了不同的关注方式学习序列内部不同的模式，可进一步克服非平稳数据造成的模型拟合能力不足，提升了模型的自适应能力；通过动态阈值方法避免了异常检测策略中存在的数据分布强假设的问题。
在本发明的另一个实施例中，如图9所示，一种时间序列的异常检测装置，包括：
在图7所示实施例的基础上，进行了以下改动，具体包括：
注意力处理模块300，进一步用于从以下注意力方式中选择至少两种方式：硬注意力、软注意力、加法注意力、乘法注意力；根据选择的注意力方式，分别对所述当前编码信息进行对应注意力方式的注意力处理；
综合模块600，用于综合所有注意力方式的处理结果，得到携带注意力信息的当前编码信息。
具体地，本实施例，引入了多种注意力方式，采用每种方式对当前编码信息进行注意力处理，然后再综合处理后的结果，比如，对处理后的结果进行加和求平均，或取其中的多数意见，得到集成学习后的注意力表示。
集成学习，类似听取多个人对同一个问题的看法，通过综合众人的意见，可以更好地向全局最优靠拢/逼近，避免陷入局部最优。
需要说明的是，本发明提供的时间序列的异常检测装置的实施例与前述提供的时间序列的异常检测方法的实施例均基于同一发明构思，能够取得相同的技术效果。因而，时间序列的异常检测装置的实施例的其它具体内容可以参照前述时间序列的异常检测方法的实施例内容的记载。
在本发明的另一个实施例中，如图10所示，一种电子设备800，包括：
包括存储器810及处理器820。存储器810用于存储计算机程序830。处理器820运行计算机程序830时实现如前述记载的时间序列的异常检测方法。
作为一个示例，处理器820执行计算机程序时实现根据前述记载的步骤S100至S800。另外地，处理器820执行计算机程序时实现前述记载的时间序列的异常检测中的各模块、单元的功能。作为又一个示例，处理器820执行计算机程序时实现采样模块100、编码模块200、注意力处理模块300、解码模块400及异常检测模块500的功能。
可选地，根据完成本发明的具体需要，所述计算机程序可以被分割为一个或多个模块/单元。每个模块/单元可以为能够完成特定功能的一系列计算机程序指令段。该计算机程序指令段用于描述所述计算机程序在时间序列的异常检测中的执行过程。作为示例，所述计算机程序可以被分割为虚拟装置中的各个模块/单元，比如采样模块、编码模块、注意力处理模块、解码模块及异常检测模块。
处理器用于通过执行所述计算机程序从而实现时间序列的异常检测方法。根据需要，处理器可以是中央处理单元、图形处理单元、数字信号处理器、专用集成电路、现场可编程门阵列、通用处理器或其他逻辑器件等。
存储器可以为任意能够实现数据、程序存储的内部存储单元和/或外部存储设备。譬如，存储器可以为插接式硬盘、智能存储卡(SMC)、安全数字(SD)卡或闪存卡等。存储器用于存储计算机程序、时间序列的异常检测装置的其他程序及数据。
电子设备800可以为任意计算机设备，比如桌上型计算机、便携式计算机、服务器等。根据需要，电子设备800还可以包括输入输出设备、显示设备、网络接入设备及总线840等。电子设备800还可以是单片机，或集成了中央处理单元(CPU)及图形处理单元(GPU)的计算设备。
本领域技术人员可以理解的是，上述用于实现相应功能的单元、模块的划分是出于便利于说明、叙述的目的，根据应用需求，将上述单元、模块做进一步的划分或者组合，即将装置/设备的内部结构重新进行划分、组合，以实现的上述记载的功能。上述实施例中的各个单元、模块可以分别采用单独的物理单元，也可以将两个或两个以上的单元、模块集成在一个物理单元。上述实施例中的各个单元、模块可以采用硬件和/或软件功能单元的实现对应的功能。上述实施例中的多个单元、组件、模块之间可以的直接耦合、间接耦合或通讯连接可以通过总线或者接口实现；多个单元或装置的之间的耦合、连接，可以是电性、机械或类似的方式。相应地，上述实施例中的各个单元、模块的具体名称也只是为了便于叙述及区分，并不用限制本申请的保护范围。
在本发明的一个实施例中，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可实现如前述实施例记载的时间序列的异常检测方法。也即是，当前述本发明实施例对现有技术做出贡献的技术方案的部分或全部通过计算机软件产品的方式得以体现时，前述计算机软件产品存储在一个计算机可读存储介质中。所述计算机可读存储介质可以为任意可携带计算机程序代码实体装置或设备。譬如，所述计算机可读存储介质可以是U盘、移动磁盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器等。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种时间序列的异常检测方法，其特征在于，包括：
通过对当前时间序列进行多窗口采样，生成对应的当前序列矩阵；
对所述当前序列矩阵进行编码处理，得到对应的当前编码信息；
将所述当前编码信息输入注意力处理，得到携带注意力信息的当前编码信息；
对所述携带注意力信息的当前编码信息进行序列重构，得到下一时间序列的预测信息；
根据所述下一时间序列的实测信息与预测信息，得到残差序列；
遍历所述残差序列中的每个残差值，当所述残差值落在合理区间外时，则所述残差值对应的所述下一时间序列中的实测值为异常数据。
2.根据权利要求1所述的时间序列的异常检测方法，其特征在于，所述的通过对当前时间序列进行多窗口采样，生成对应的当前序列矩阵，包括：
基于滑动窗口的方式获得多个窗口；
用所述多个窗口对当前时间序列进行采样，得到若干子序列；
将所有子序列组成一矩阵，得到对应的当前序列矩阵。
3.根据权利要求1所述的时间序列的异常检测方法，其特征在于，所述注意力处理包括：
对输入序列信息进行第一线性映射，得到第一映射信息；
对所述输入序列信息进行第二线性映射，得到第二映射信息；
对所述输入序列信息进行第三线性映射，得到第三映射信息；
根据以下公式计算所述第一映射信息与所述第二映射信息的相关性，得到相关性信息：
Figure FDA0002298474840000021
其中，Q、K为维度信息相同的矩阵，Q为第一映射信息，K为第二映射信息，KT为矩阵K的转置，dK为矩阵K的列数，similarity为Q、K矩阵的相关性信息；
采用归一化指数函数对所述相关性信息进行归一化处理，得到注意力权重；
根据所述注意力权重调整所述第三映射信息，得到对应的注意力表示，并输出。
4.根据权利要求1所述的时间序列的异常检测方法，其特征在于，所述的将所述当前编码信息输入注意力处理，得到携带注意力信息的当前编码信息，之前还包括：
获取当前时间序列的前段时间序列；
通过对前段时间序列进行多窗口采样，生成对应的前序序列矩阵；
对所述前序序列矩阵进行编码处理，得到对应的前序编码信息；
将所述前序编码信息输入所述注意力处理，得到携带注意力信息的前序编码信息；
融合所述携带注意力信息的前序编码信息与所述当前编码信息，并用融合信息更新所述当前编码信息。
5.根据权利要求1所述的时间序列的异常检测方法，其特征在于，所述的将所述当前编码信息输入注意力处理，得到携带注意力信息的当前编码信息，还包括：
从以下注意力方式中选择至少两种方式：硬注意力、软注意力、加法注意力、乘法注意力；
根据选择的注意力方式，分别对所述当前编码信息进行对应注意力方式的注意力处理；
综合所有注意力方式的处理结果，得到携带注意力信息的当前编码信息。
6.根据权利要求1-5任意一项所述的时间序列的异常检测方法，其特征在于，所述合理区间的获取包括：
初始化候选区间的上界和下界；
遍历所述残差序列中的每个残差值，当所述残差值落在所述候选区间外时，则所述残差值为异常点，否则为合理点；
统计异常点信息；
根据所述异常点信息，计算所述残差序列的均值衰减项和标准差衰减项；
根据所述均值衰减项、所述标准差衰减项、和所述异常点信息，计算所述候选区间对应的平均单位异常值；
按预设规则调整所述候选区间，得到新候选区间，重复以上过程，计算新候选区间对应的平均单位异常值，直至到达目标候选区间；
从所有的平均单位异常值中选取最大值，将所述最大值对应的候选区间作为合理区间。
7.根据权利要求6所述的时间序列的异常检测方法，其特征在于，所述的根据所述异常点信息，计算所述残差序列的均值衰减项和标准差衰减项，包括：
根据以下公式计算所述残差序列的均值衰减项meandecay：
meandecay-above＝(meanabove-meanabove-normal)/meanabove；
meandecay-below＝(meanbelow-meanbelow-normal)/meanbelow；
meandecay＝(meandecay-above+meandecay-below)/2；
其中，meanabove为所述残差序列中所有大于0的残差值的均值，meanabove-normal为所述残差序列中所有大于0、且不在异常区间中的残差值的均值，meanbelow为所述残差序列中所有小于0的残差值的均值，meanbelow-normal为所述残差序列中所有小于0、且不在异常区间中的残差值的均值；
根据以下公式计算所述残差序列的标准差衰减项stddecay：
stddecay-above＝(stdabove-stdabove-normal)/stdabove；
stddecay-below＝(stdbelow-stdbelow-normal)/stdbelow；
stddecay＝(stddecay-above+stddecay-below)/2；
其中，stdabove为所述残差序列中所有大于0的残差值的标准值，stdabove-normal为所述残差序列中所有大于0、且不在异常区间中的残差值的标准值，stdbelow为所述残差序列中所有小于0的残差值的标准值，stdbelow-normal为所述残差序列中所有小于0、且不在异常区间中的残差值的标准值；
根据以下公式计算所述候选区间对应的平均单位异常值mertic：
mertic＝(meandecay+stddecay)/(anomalynums+windownums)
其中，anomalynums为所述异常点的个数、windownums为所述异常区间的数目。
8.一种时间序列的异常检测装置，包括：
采样模块，用于通过对当前时间序列进行多窗口采样，生成对应的当前序列矩阵；
编码模块，用于对所述当前序列矩阵进行编码处理，得到对应的当前编码信息；
注意力处理模块，用于将所述当前编码信息输入注意力处理，得到携带注意力信息的当前编码信息；
解码模块，用于对所述携带注意力信息的当前编码信息进行序列重构，得到下一时间序列的预测信息；
异常检测模块，用于根据所述下一时间序列的实测信息与预测信息，得到残差序列；遍历所述残差序列中的每个残差值，当所述残差值落在合理区间外时，则所述残差值对应的所述下一时间序列中的实测值为异常数据。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于运行所述计算机程序时实现根据权利要求1至7中任一项所述的时间序列的异常检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：
所述计算机程序被处理器执行时实现根据权利要求1至7中任一项所述的时间序列的异常检测方法。
CN201911212340.XA 2019-12-02 2019-12-02 时间序列的异常检测方法及装置、电子设备、存储介质 Active CN110909046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911212340.XA CN110909046B (zh) 2019-12-02 2019-12-02 时间序列的异常检测方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911212340.XA CN110909046B (zh) 2019-12-02 2019-12-02 时间序列的异常检测方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN110909046A true CN110909046A (zh) 2020-03-24
CN110909046B CN110909046B (zh) 2023-08-11

Family

ID=69821136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911212340.XA Active CN110909046B (zh) 2019-12-02 2019-12-02 时间序列的异常检测方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN110909046B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708739A (zh) * 2020-05-21 2020-09-25 北京奇艺世纪科技有限公司 时序数据的异常检测方法、装置、电子设备及存储介质
CN111880998A (zh) * 2020-07-30 2020-11-03 平安科技（深圳）有限公司 服务系统异常检测方法、装置、计算机设备和存储介质
CN111967508A (zh) * 2020-07-31 2020-11-20 复旦大学 基于显著图的时间序列异常点检测方法
CN111967507A (zh) * 2020-07-31 2020-11-20 复旦大学 基于离散余弦变换和U-Net的时序异常检测方法
CN112561433A (zh) * 2020-12-18 2021-03-26 江苏满运物流信息有限公司 货源的展示方法、装置、电子设备、存储介质
CN112667707A (zh) * 2020-12-23 2021-04-16 深圳供电局有限公司 表码数据处理方法、装置、计算机设备和存储介质
CN112800116A (zh) * 2021-04-08 2021-05-14 腾讯科技（深圳）有限公司 一种业务数据的异常检测方法及装置
CN112988186A (zh) * 2021-02-19 2021-06-18 支付宝(杭州)信息技术有限公司 异常检测系统的更新方法及装置
CN113048807A (zh) * 2021-03-15 2021-06-29 太原理工大学 一种空冷机组背压异常检测方法
CN113127716A (zh) * 2021-04-29 2021-07-16 南京大学 一种基于显著性图的情感时间序列异常检测方法
CN113255792A (zh) * 2021-06-01 2021-08-13 广东粤港澳大湾区硬科技创新研究院 一种数据异常点检测方法、装置、系统、以及存储介质
CN113282876A (zh) * 2021-07-20 2021-08-20 中国人民解放军国防科技大学 异常检测中一维时间序列数据生成方法、装置和设备
CN113362597A (zh) * 2021-06-03 2021-09-07 济南大学 一种基于非参数建模的交通序列数据异常检测方法及系统
CN113850418A (zh) * 2021-09-02 2021-12-28 支付宝(杭州)信息技术有限公司 时间序列中异常数据的检测方法和装置
CN114139648A (zh) * 2021-12-07 2022-03-04 北京科技大学 一种尾矿充填管路异常智能检测方法及系统
WO2022141871A1 (zh) * 2020-12-31 2022-07-07 平安科技（深圳）有限公司 时序数据异常检测方法、装置、设备及存储介质
CN115098345A (zh) * 2022-08-25 2022-09-23 广州简悦信息科技有限公司 数据异常检测方法、电子设备及可读存储介质
CN117556311A (zh) * 2024-01-11 2024-02-13 电子科技大学 一种基于多维特征融合的无监督时间序列异常检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583570A (zh) * 2018-11-30 2019-04-05 重庆大学 基于深度学习确定桥梁健康监测系统异常数据来源的方法
CN110222840A (zh) * 2019-05-17 2019-09-10 中山大学 一种基于注意力机制的集群资源预测方法和装置
CN110442600A (zh) * 2019-04-17 2019-11-12 江苏网谱数据服务有限公司 一种时间序列异常检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583570A (zh) * 2018-11-30 2019-04-05 重庆大学 基于深度学习确定桥梁健康监测系统异常数据来源的方法
CN110442600A (zh) * 2019-04-17 2019-11-12 江苏网谱数据服务有限公司 一种时间序列异常检测方法
CN110222840A (zh) * 2019-05-17 2019-09-10 中山大学 一种基于注意力机制的集群资源预测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨永娇等: "一种基于深度Encoder-Decoder神经网络的智能电网数据服务器流量异常检测算法", 《计算机与现代化》 *
高扬: "《人工智能与机器人先进技术丛书 智能摘要与深度学习》", 31 July 2019, 北京理工大学出版社 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708739B (zh) * 2020-05-21 2024-02-27 北京奇艺世纪科技有限公司 时序数据的异常检测方法、装置、电子设备及存储介质
CN111708739A (zh) * 2020-05-21 2020-09-25 北京奇艺世纪科技有限公司 时序数据的异常检测方法、装置、电子设备及存储介质
CN111880998A (zh) * 2020-07-30 2020-11-03 平安科技（深圳）有限公司 服务系统异常检测方法、装置、计算机设备和存储介质
CN111967508A (zh) * 2020-07-31 2020-11-20 复旦大学 基于显著图的时间序列异常点检测方法
CN111967507A (zh) * 2020-07-31 2020-11-20 复旦大学 基于离散余弦变换和U-Net的时序异常检测方法
CN112561433A (zh) * 2020-12-18 2021-03-26 江苏满运物流信息有限公司 货源的展示方法、装置、电子设备、存储介质
CN112561433B (zh) * 2020-12-18 2022-07-08 江苏满运物流信息有限公司 货源的展示方法、装置、电子设备、存储介质
CN112667707A (zh) * 2020-12-23 2021-04-16 深圳供电局有限公司 表码数据处理方法、装置、计算机设备和存储介质
CN112667707B (zh) * 2020-12-23 2023-12-29 深圳供电局有限公司 表码数据处理方法、装置、计算机设备和存储介质
WO2022141871A1 (zh) * 2020-12-31 2022-07-07 平安科技（深圳）有限公司 时序数据异常检测方法、装置、设备及存储介质
CN112988186A (zh) * 2021-02-19 2021-06-18 支付宝(杭州)信息技术有限公司 异常检测系统的更新方法及装置
CN112988186B (zh) * 2021-02-19 2022-07-19 支付宝(杭州)信息技术有限公司 异常检测系统的更新方法及装置
CN113048807A (zh) * 2021-03-15 2021-06-29 太原理工大学 一种空冷机组背压异常检测方法
CN112800116A (zh) * 2021-04-08 2021-05-14 腾讯科技（深圳）有限公司 一种业务数据的异常检测方法及装置
CN112800116B (zh) * 2021-04-08 2021-07-09 腾讯科技（深圳）有限公司 一种业务数据的异常检测方法及装置
CN113127716A (zh) * 2021-04-29 2021-07-16 南京大学 一种基于显著性图的情感时间序列异常检测方法
CN113127716B (zh) * 2021-04-29 2023-07-28 南京大学 一种基于显著性图的情感时间序列异常检测方法
CN113255792A (zh) * 2021-06-01 2021-08-13 广东粤港澳大湾区硬科技创新研究院 一种数据异常点检测方法、装置、系统、以及存储介质
CN113362597B (zh) * 2021-06-03 2022-11-29 济南大学 一种基于非参数建模的交通序列数据异常检测方法及系统
CN113362597A (zh) * 2021-06-03 2021-09-07 济南大学 一种基于非参数建模的交通序列数据异常检测方法及系统
CN113282876B (zh) * 2021-07-20 2021-10-01 中国人民解放军国防科技大学 异常检测中一维时间序列数据生成方法、装置和设备
CN113282876A (zh) * 2021-07-20 2021-08-20 中国人民解放军国防科技大学 异常检测中一维时间序列数据生成方法、装置和设备
CN113850418A (zh) * 2021-09-02 2021-12-28 支付宝(杭州)信息技术有限公司 时间序列中异常数据的检测方法和装置
CN114139648A (zh) * 2021-12-07 2022-03-04 北京科技大学 一种尾矿充填管路异常智能检测方法及系统
CN115098345A (zh) * 2022-08-25 2022-09-23 广州简悦信息科技有限公司 数据异常检测方法、电子设备及可读存储介质
CN115098345B (zh) * 2022-08-25 2022-12-23 广州简悦信息科技有限公司 数据异常检测方法、电子设备及可读存储介质
CN117556311A (zh) * 2024-01-11 2024-02-13 电子科技大学 一种基于多维特征融合的无监督时间序列异常检测方法
CN117556311B (zh) * 2024-01-11 2024-03-19 电子科技大学 一种基于多维特征融合的无监督时间序列异常检测方法

Also Published As

Publication number Publication date
CN110909046B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN110909046A (zh) 时间序列的异常检测方法及装置、电子设备、存储介质
CN106709588B (zh) 预测模型构建方法和设备以及实时预测方法和设备
JP6881207B2 (ja) 学習装置、プログラム
CN115169430A (zh) 基于多尺度解码的云网端资源多维时间序列异常检测方法
WO2022012276A1 (zh) 一种温度校准方法、装置、设备及存储介质
US20230316720A1 (en) Anomaly detection apparatus, anomaly detection method, and program
JP4265296B2 (ja) 変化点検出装置，変化点検出方法および変化点検出用プログラム
CN113344295A (zh) 基于工业大数据的设备剩余寿命预测方法、系统及介质
CN115731513A (zh) 基于数字孪生的智慧园区管理系统
Stief et al. Fault diagnosis using interpolated Kernel density estimate
Nam et al. The uncertainty of storm season changes: quantifying the uncertainty of autocovariance changepoints
CN109065176B (zh) 一种血糖预测方法、装置、终端和存储介质
Cai et al. Variational autoencoder for classification and regression for out-of-distribution detection in learning-enabled cyber-physical systems
CN114093435A (zh) 一种基于深度学习的化学分子相关水溶性预测方法
CN112766810A (zh) 用于智能综合性整体质量评价的神经网络的训练方法
CN112949947A (zh) 一种基于卷积长短期记忆网络的电力故障预警方法及系统
CN117074925A (zh) 一种3d芯片测试分析方法和系统
CN116451081A (zh) 数据漂移的检测方法、装置、终端及存储介质
Feng et al. Spatiotemporal prediction based on feature classification for multivariate floating-point time series lossy compression
US7840391B2 (en) Model-diversity technique for improved proactive fault monitoring
CN115840774A (zh) 多元时序异常检测方法及装置、计算机设备和存储介质
Elhalwagy et al. Hybridization of capsule and lstm networks for unsupervised anomaly detection on multivariate data
CN114385619A (zh) 一种多通道海洋观测时序标量数据缺失值预测方法及系统
CN111027680B (zh) 基于变分自编码器的监控量不确定性预测方法及系统
CN113780238A (zh) 多指标时序信号的异常检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant