CN112131272B - 多元kpi时间序列的检测方法、装置、设备及存储介质 - Google Patents

多元kpi时间序列的检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112131272B
CN112131272B CN202011004044.3A CN202011004044A CN112131272B CN 112131272 B CN112131272 B CN 112131272B CN 202011004044 A CN202011004044 A CN 202011004044A CN 112131272 B CN112131272 B CN 112131272B
Authority
CN
China
Prior art keywords
preset
time sequence
value
kpi time
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011004044.3A
Other languages
English (en)
Other versions
CN112131272A (zh
Inventor
邓悦
郑立颖
徐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011004044.3A priority Critical patent/CN112131272B/zh
Priority to PCT/CN2020/125003 priority patent/WO2021189844A1/zh
Publication of CN112131272A publication Critical patent/CN112131272A/zh
Application granted granted Critical
Publication of CN112131272B publication Critical patent/CN112131272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474Sequence data queries, e.g. querying versioned data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477Temporal data queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域,公开了一种多元KPI时间序列的检测方法、装置、计算机设备及计算机可读存储介质,该方法包括:通过根据预置切分策略和待训练的多元KPI时间序列,得到对应的待训练的多段子多元KPI时间序列,其中,待训练的子多元KPI时间序列为无标签;根据待训练的子多元KPI时间序列训练预置模型,生成对应的确定性模型;获取待检测的多元KPI时间序列;根据待检测的多元KPI时间序列和确定性模型,获取待检测的多元KPI时间序列中待检测数值的重建概率值;根据预置阈值和待检测数值的重建概率值,确定待检测数值对应的时刻是否为异常点,实现通过无标签的多元KPI时间序列生成确定性模型,增强了模型的鲁棒性,并提高了检测的准确率。

Description

多元KPI时间序列的检测方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域,尤其涉及一种多元KPI时间序列的检测方法、装置、计算机设备及计算机可读存储介质。
背景技术
工业设备,例如服务器、航天器、机器人辅助系统、引擎等通常会产生多个时间序列指标,以便可以及时检测到每个设备的行为异常。来自同一设备或同一个实体的多个单变量时间序列形成一个多元KPI时间序列。通常,直接使用多元KPI时间序列在实体级别检测实体异常的效果会优于多个单变量时间序列的异常检测效果。
多元KPI时间序列的异常检测主要分为基于确定性模型和基于随机性模型,基于确定性模型的主要是重建“正常”时间序列行为,并使用重建误差进行多传感器异常检测。但确定性模型需要大量的带标签时间序列进行训练;而基于随机性模型获取历史多元KPI时间序列的数值范围,通过该数值范围检测当前多元KPI时间序列是否异常,检测的准确率较低。
发明内容
本申请的主要目的在于提供一种多元KPI时间序列的检测方法、装置、计算机设备及计算机可读存储介质,旨在解决现有的确定性模型需要大量的带标签时间序列进行训练,而随机性模型通过数值范围检测当前多元KPI时间序列是否异常,导致检测的准确率较低的技术问题。
第一方面,本申请提供一种多元KPI时间序列的检测方法,所述多元KPI时间序列的检测方法包括以下步骤:
根据预置切分策略和待训练的多元KPI时间序列,确定对应的待训练的多段子多元KPI时间序列,其中,所述待训练的子多元KPI时间序列为无标签;
根据所述待训练的子多元KPI时间序列训练预置模型,生成对应的确定性模型;
获取待检测的多元KPI时间序列;
根据所述待检测的多元KPI时间序列和所述确定性模型,获取所述待检测的多元KPI时间序列中待检测数值的重建概率值;
根据预置阈值和所述待检测数值的重建概率值,确定所述待检测数值对应的时刻是否为异常点。
第二方面,本申请还提供一种多元KPI时间序列的检测装置,所述多元KPI时间序列的检测装置包括:
得到模块,用于根据预置切分策略和待训练的多元KPI时间序列,得到对应的待训练的多段子多元KPI时间序列,其中,所述待训练的子多元KPI时间序列为无标签;
生成模块,用于根据所述待训练的子多元KPI时间序列训练预置模型,生成对应的确定性模型;
第一获取模块,用于获取待检测的多元KPI时间序列;
第二获取模块,用于根据所述待检测的多元KPI时间序列和所述确定性模型,获取所述待检测的多元KPI时间序列中待检测数值的重建概率值;
确定模块,用于根据预置阈值和所述待检测数值的重建概率值,确定所述待检测数值对应的时刻是否为异常点。
第三方面,本申请还提供一种计算机设备,所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序,其中所述计算机程序被所述处理器执行时,实现如上述的多元KPI时间序列的检测方法的步骤。
第四方面,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其中所述计算机程序被处理器执行时,实现如上述的多元KPI时间序列的检测方法的步骤。
本申请提供一种多元KPI时间序列的检测方法、装置、计算机设备及计算机可读存储介质,通过根据预置切分策略和待训练的多元KPI时间序列,确定对应的待训练的多段子多元KPI时间序列,其中,所述待训练的子多元KPI时间序列为无标签;根据所述待训练的子多元KPI时间序列训练预置模型,生成对应的确定性模型;获取待检测的多元KPI时间序列;根据所述待检测的多元KPI时间序列和所述确定性模型,获取所述待检测的多元KPI时间序列中待检测数值的重建概率值;根据预置阈值和所述待检测数值的重建概率值,确定所述待检测数值对应的时刻是否为异常点,实现通过无标签的多元KPI时间序列生成确定性模型,增强了模型的鲁棒性,使得该确定性模型更适用于多元KPI时序数据的异常检测,并提高了检测的准确率。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种多元KPI时间序列的检测方法的流程示意图;
图2为图1中的多元KPI时间序列的检测方法的子步骤流程示意图;
图3为本申请实施例中确定性模型的解码和编码示意图;
图4为本申请实施例提供的一种多元KPI时间序列的检测装置的示意性框图;
图5为本申请一实施例涉及的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
本申请实施例提供一种多元KPI时间序列的检测方法、装置、计算机设备及计算机可读存储介质。其中,该多元KPI时间序列的检测方法可应用于计算机设备中,该计算机设备可以是笔记本电脑、台式电脑等电子设备。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参照图1,图1为本申请的实施例提供的一种多元KPI时间序列的检测方法的流程示意图。
如图1所示,该多元KPI时间序列的检测方法包括步骤S101至步骤S105。
步骤S101、根据预置切分策略和待训练的多元KPI时间序列,确定对应的待训练的多段子多元KPI时间序列,其中,所述待训练的子多元KPI时间序列为无标签。
示范性的,获取待训练多元KPI时间序列,通过预置切分策略对获取到的待训练多元KPI时间序列进行数据处理,预置切分策略包括T+1的滑动窗口信息,其中,T可以为0。例如,当T为1时,则滑动窗口的长度为2个时刻。当获取到的待训练多元KPI时间序列包括0-24个时刻,则基于滑动窗口的长度为2个时刻对待训练多元KPI时间序列的0-24个时刻进行切分,得到23段子多元KPI时间序列。或者,当T为0时,则滑动窗口的长度为1个时刻。当获取到的待训练多元KPI时间序列包括0-24个时刻,则基于滑动窗口的长度为1个时刻对待训练多元KPI时间序列的0-24个时刻进行切分,得到24段子多元KPI时间序列。其中,每一段子多元KPI时间序列上时刻对应有对个数值。
步骤S102、根据所述待训练的子多元KPI时间序列训练预置模型,生成对应的确定性模型。
示范性的,通过子多元KPI时间序列对预置模型进行训练,生成对应的确定性模型,其中,该子多元KPI时间序列为不带标签的子多元KPI时间序列。例如,将该子多元KPI时间序列输入预置模型,通过预置模型中的网络层提取该子多元KPI时间序列中各个时刻对应的数值,获取各个时刻对应的数值之间的向量特征,基于该各个时刻对应的数值之间的向量特征对该网络层的权重参数进行训练,生成对应的确定性模型。或者,将该子多元KPI时间序列输入预置模型,为每个输入子多元KPI时间序列的数值样本建立特定分布以获取辅助变量,再根据辅助变量重建原始数值样本,通过最大化损失函数以改进预置模型的网络参数,生成对应的确定性模型。
在一实施例中,具体地,参照图2,步骤S102包括:子步骤S1021至子步骤S1024。
子步骤S1021、将所述待训练的子多元KPI时间序列输入所述预置模型,提取所述待训练的子多元KPI时间序列中的数值。
将该子多元KPI时间序列输入预置模型,通过预置模型的输入层提取该子多元KPI时间序列中数值,其中,该子多元KPI时间序列包括多个时刻,且每个时刻对应有多个数值。该数值可以为第一时刻的第一数值也可以为第一时刻的第二数值,或者,为第二时刻的第一数值等。
子步骤S1022、根据预置编码程序对所述数值进行编码,获取所述数值的第一高斯分布和第一辅助变量。
预置模型包括编码程序,通过该编码程序对该数值进行编码,得到该数值编码后的第一高斯分布,从该第一高斯分布中随机抽取一个对角高斯向量,将该对角高斯向量作为该数值的第一辅助变量。
在一实施例中,所述预置编码程序包括第一预置神经网络模型和第一全连接层,所述根据预置编码程序对所述数值进行编码,获取所述数值的第一高斯分布和第一辅助变量,包括:根据所述数值和第一预置神经网络模型,得到所述第一预置神经网络模型的第一隐藏变量;根据第一预置全连接层和所述第一隐藏变量,得到所述数值对应的第一高斯分布;基于所述第一高斯分布得到所述数值的第一辅助变量。
示范性的,如图3所示,预置模型包括编码程序和解码程序,其中,该编码程序包括第一预置神经网络GPU和第一全连接层h1;解码程序包括第二预置神经网络GPU和第二全连接层h2。在获取到子多元KPI时间序列中的数值时,获取第一预置神经网络GPU之前产生的第一隐藏变量,通过将该数值和第一隐藏变量输入该第一预置神经网络GPU中,得到第一预置神经网络GPU输出的第二隐藏变量。例如,获取到子多元KPI时间序列中的数值xt,获取第一预置神经网络GPU之前产生的第一隐藏变量et-1,将该xt和et-1输入第一预置神经网络GPU,通过该第一预置神经网络GPU中第一预置公式其中,we、ue、be为变量参数,通过获取第一神经网络或预置模型的参数矩阵,该参数矩阵是以0为中心分布的,随机抽取该参数矩阵中的参数作为we、ue、be的初始参数。/>是GRU中的更新门,用于决定如何将新输入的自变量与之前的时序信息结合起来。/>是GRU中的重置门,用于决定保留多少此前的时序信息。通过第二预置公式得到/>其中,/>为为变量参数,通过获取第一神经网络或预置模型的参数矩阵,该参数矩阵是以0为中心分布的,随机抽取该参数矩阵中的参数作为/>的初始参数。通过第三预置公式得到其中,/>为为变量参数,通过获取第一神经网络或预置模型的参数矩阵,该参数矩阵是以0为中心分布的,随机抽取该参数矩阵中的参数作为/>的初始参数。
在得到该数值的第一隐藏变量时,获取该第一全连接层之前的第二隐藏变量,将得到的第一隐藏变量与的第二隐藏变量连接,得到向量信息。将该向量信息输入第一全连接层,通过该第一全连接层中的网络层以预置ReLU作为激活函数,分别经过下面两个线性变换和softplus激活函数变换得到均值和标准差。例如,在得到该数值的第一隐藏变量et以及该第一全连接层之前的第二隐藏变量zt-1,将第一隐藏变量et与第二隐藏变量zt-1连接,得到隐藏变量向量(zt-1,et),通过第一全连接层的第一线性变换函数得到该数值的第一均值。其中,/>为常数。通过第一全连接层的第二线性变换函数/>得到该数值的第一标准差。其中,/>为常数,∈是一个很小的常数,为了防止计算时数值溢出而设置。
在得到该数值的第一均值和第一标准差时,通过第一均值和第一标准差构建该数值的第一高斯分布。例如,在获取第一均值和第一标准差/>时,构建该数值对应时刻的特定高斯分布/>在构建该数值的第一高斯分布时,随机从该第一高斯分布抽取一个对角高斯向量作为该数值的第一辅助变量。例如,从该特定高斯分布随机抽取到一个对角高斯向量zt,将该对角高斯向量zt作为该数值的第一辅助变量。
子步骤S1023、根据预置解码程序对所述第一辅助变量进行解码,得到所述数值对应的第二高斯分布。
预置模型包括解码程序,在得到该数值的第一辅助变量时,通过预置解码程序对该第一辅助变量进行解码,得到该第一辅助变量解码后第二高斯分布。
在一实施例中,所述解码程序包括第二预置神经网络模型和第二预置全连接层,所述根据预置解码程序对所述第一辅助变量进行解码,得到所述数值对应的第二高斯分布,包括:根据所述第一辅助变量和第二预置神经网络模型,得到所述第二预置神经网络模型的第二隐藏变量;根据第二预置全连接层和所述第二隐藏变量,得到所述数值对应的第二高斯分布。
示范性的,如图3所示,该解码程序包括第二预置神经网络GPU和第二全连接层h2,在获取到该数值的第一辅助变量时,获取该第二预置神经网络GPU之前的第一隐藏变量,通过将该第一辅助变量和第一隐藏变量输入该第二预置神经网络,得到第二预置神经网络输出对应的第二隐藏变量。例如,获取到第一辅助变量zt,获取第二预置神经网络GPU之前产生的第一隐藏变量dt-1,将该zt和dt-1输入第二预置神经网络GPU,通过该第一预置神经网络GPU中第一预置公式其中,we、ue、be为为变量参数,通过获取第一神经网络或预置模型的参数矩阵,该参数矩阵是以0为中心分布的,随机抽取该参数矩阵中的参数。/>是GRU中的更新门,用于决定如何将新输入的自变量与之前的时序信息结合起来。/>是GRU中的重置门,用于决定保留多少此前的时序信息。通过第二预置公式得到/>其中,/>为为变量参数,通过获取第一神经网络或预置模型的参数矩阵,该参数矩阵是以0为中心分布的,随机抽取该参数矩阵中的参数作为/>的初始参数。通过第三预置公式得到其中,/>为为变量参数,通过获取第一神经网络或预置模型的参数矩阵,该参数矩阵是以0为中心分布的,随机抽取该参数矩阵中的参数作为/>的初始参数。
在得到该第二预置神经网路的第二隐藏变量时,将该第二隐藏变量输入第二全连接层,通过第二全连接层中的网络层以预置ReLU作为激活函数,分别经过下面两个线性变换和softplus变换得到均值和标准差。例如,通过第一全连接层的第一线性变换函数得到该数值的第二均值。其中,/>为常数。通过第一全连接层的第二线性变换函数/>得到该数值的第二标准差。其中,为常数,∈是一个很小的常数,为了防止计算时数值溢出而设置。
在得到该数值的第二均值和第二标准差时,通过第二均值和第二标准差构建该数值的第二高斯分布。例如,在获取第二均值和第一标准差/>时,构建该数值对应时刻的特定高斯分布/>其中特定高斯分布/> 为第二高斯分布。
子步骤S1024、根据所述第一高斯分布和第二高斯分布训练所述预置模型的损失函数,生成对应的确定性模型。
通过得到该数值的第一高斯分布和第二高斯分布训练预置模型的损失函数,得到对应的确定性模型。例如,通过得到的第一高斯分布训练编码程序的第一损失函数,通过得到的第二高斯分布训练解码函数的第二损失函数,得到对应的确定性函数。
在一实施例中,所述根据所述第一高斯分布和第二高斯分布训练所述预置模型的损失函数,生成对应的确定性模型,包括:获取所述第二高斯分布中的累积分布概率;根据所述累积分布概率和第一预置损失函数,得到所述数值的重建概率;根据所述第一高斯分布,得到所述第一高斯分布的正则项;根据所述正则项和第二预置损失函数,得到所述数值的正则化项;基于所述重建概率和所述正则化项训练所述解码程序的网络参数和所述编码程序的网络参数,生成对应的确定性模型。
示范性的,重建概率通过计算原始数据xt在重建分布中的累积分布概率,即/>接下来是计算正则化项。由于编码过程中不是直接对辅助变量进行拟合,而是通过拟合辅助变量的均值和标准差,进而重采样得到zt,因此整个重构过程受到噪声的影响。噪声强度,也就是拟合的标准差/>是通过神经网络计算得到,所以整个训练过程为了能更好的重建原始数据,会尽量压缩其标准差接近于0。一旦标准差接近0,采样的随机性消失,只会得到一个固定的样本,即/>这种情况下,模型等同于一个普通的自编码器。
例如,zt|xt服从标准的正态分布,就避免了噪声(即)被压缩为零的问题,因此保证模型可以生成与原始数据不同的新样本。
因此,我们以多元独立正态分布与标准正态分布的KL散度KL[N(u,σ2)]||N(0,I)作为这个正则项加入损失函数中。其中,N是zt的个数。
将上述两个损失函数进行合并,得到总损失函数:通过最大化上述损失函数来不断训练编码器及解码器的网络参数,直至达到预期精度。
在一实施例中,所述得到所述数值的重建概率之后,还包括:记录所述待训练的子多元KPI时间序列中各个数值的重建概率,并将各个所述数值的重建概率进行排序;确定排序后所述重建概率中预置序号对应的目标重建概率,并将所述目标重建概率作为预置阈值。
示范性的,记录预置模型训练中最后一次计算Lrecon的数据,我们得到了每个原始数据对应的重建概率,记作Si=log[p(xi|zi)],其中,i=1至N,合并为一个包含N个元素的集合S={S1,S2...SN}。重建概率Si越高意味着输入xi服从时间序列的正常模式,因此可以高度可信地对其进行重构。概率越小,说明能重构原始数据的可能性越小,因此异常的可能性就越大。由于异常数值占比很小,根据实际经验,我们选取所有Si数据的下5%分位数作为阈值。
步骤S103、获取待检测的多元KPI时间序列。
示范性的,通过预置切分策略获取待检测多元KPI时间序列。例如,检测到多元KPI时间序列上出现新的数值时,基于该预置切分策略中的目标窗口信息对该多元KPI时间序列进行切分,获取包含出现新的数值的待检测多元KPI时间序列。
步骤S104、根据所述待检测的多元KPI时间序列和所述确定性模型,获取所述待检测的多元KPI时间序列中待检测数值的重建概率值
示范性的,将该待检测多元KPI时间序列输入该确定性模型的,获取待待检测多元KPI时间序列中的待检测数值,该待检测数值为出现新的数值。将该待检测数值输入该该确定性模型的第一预置神经网络,得到该第一预置神经网络输出的隐藏变量。将该隐藏变量输入第一预置全连接层,获取第一预置全连接层变换得到的第一均值和第一标准差。根据第一均值和第一标准差,得到该待检测数值的第一高斯分布。基于该第一高斯分布,得到该待检测数值的辅助变量。基于第二预置神经网络和辅助变量,得到该第二预置神经网络输出的隐藏变量。基于该第二预置神经网络输出的隐藏变量和第二预置全连接层,得到第二预置全连接层变换得到的第二均值和第二标准差。基于的第二均值和第二标准差,构建该待检测数值的第二高斯分布图,得到该待检测数值的重建概率。
步骤S105、根据预置阈值和所述待检测数值的重建概率值,确定所述待检测数值对应的时刻是否为异常点。
将该待检测数值的重建概率值与预置阈值进行比对,确定该待检测数值的时刻是否为异常点;若该待检测数值的重建概率值小于该预置阈值,则确定该待检测数值的时刻为异常点。
在本发明实施例中,通过无标签的多元KPI时间序列训练预置模型,生成对应的确定性模型,通过该确定性模型对该检测的多元KPI时间序列进行检测,确定该多元KPI时间序列中待检测数值对应的时刻是否为异常点。利用贝叶斯网络的知识根据不同的输入数据建立不同的高斯分布,然后从中抽样获取对应潜变量,再根据潜变量建立特定分布,再次抽样得到重建数据,因此可以生成与原始数据不同的变量,增强了模型的鲁棒性;在编码过程中,融合了基于确定性的模型和基于随机性的模型,充分捕获了潜在空间中辅助变量之间的时间依赖性,因此可以更好地表示输入数据的分布,更适用于多元KPI时序数据的异常检测;扩展了具有随机变量的递归神经网络的建模功能,融合了GRU模型在充分捕捉时间序列数据的时间依赖性,提升了模型精度的同时大大降低模型复杂度,节约了运算过程中的CPU占用率,也减少了所需的存储空间。
请参照图4,图4为本申请实施例提供的一种多元KPI时间序列的检测装置的示意性框图。
如图4所示,该多元KPI时间序列的检测装置400,包括:第一确定模块401、生成模块402、第一获取模块403、第二获取模块404、第二确定模块405。
第一确定模块401,用于根据预置切分策略和待训练的多元KPI时间序列,得到对应的待训练的多段子多元KPI时间序列,其中,所述待训练的子多元KPI时间序列为无标签;
生成模块402,用于根据所述待训练的子多元KPI时间序列训练预置模型,生成对应的确定性模型;
第一获取模块403,用于获取待检测的多元KPI时间序列;
第二获取模块404,用于根据所述待检测的多元KPI时间序列和所述确定性模型,获取所述待检测的多元KPI时间序列中待检测数值的重建概率值;
第二确定模块405,用于根据预置阈值和所述待检测数值的重建概率值,确定所述待检测数值对应的时刻是否为异常点。
其中,生成模块402具体还用于:
将所述待训练的子多元KPI时间序列输入所述预置模型,提取所述待训练的子多元KPI时间序列中的数值;
根据预置编码程序对所述数值进行编码,获取所述数值的第一高斯分布和第一辅助变量;
根据预置解码程序对所述第一辅助变量进行解码,得到所述数值对应的第二高斯分布;
根据所述第一高斯分布和第二高斯分布训练所述预置模型的损失函数,生成对应的确定性模型。
其中,生成模块402具体还用于:
根据所述数值和第一预置神经网络模型,得到所述第一预置神经网络模型的第一隐藏变量;
根据第一预置全连接层和所述第一隐藏变量,得到所述数值对应的第一高斯分布;
基于所述第一高斯分布得到所述数值的第一辅助变量。
其中,生成模块402具体还用于:
根据所述第一辅助变量和第二预置神经网络模型,得到所述第二预置神经网络模型的第二隐藏变量;
根据第二预置全连接层和所述第二隐藏变量,得到所述数值对应的第二高斯分布。
其中,生成模块402具体还用于:
获取所述第二高斯分布中的累积分布概率;
根据所述累积分布概率和第一预置损失函数,得到所述数值的重建概率;
根据所述第一高斯分布,得到所述第一高斯分布的正则项;
根据所述正则项和第二预置损失函数,得到所述数值的正则化项;
基于所述重建概率和所述正则化项训练所述解码程序的网络参数和所述编码程序的网络参数,生成对应的确定性模型。
其中,多元KPI时间序列的检测装置还用于:
记录所述待训练的子多元KPI时间序列中各个数值的重建概率,并将各个所述数值的重建概率进行排序;
确定排序后所述重建概率中预置序号对应的目标重建概率,并将所述目标重建概率作为预置阈值。
其中,第二确定模块405还用于:
将所述待检测数值的重建概率值与预置阈值进行比对,确定所述待检测数值的时刻是否为异常点;
若所述待检测数值的重建概率值小于所述预置阈值,则确定所述待检测数值的时刻为异常点。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和各模块及单元的具体工作过程,可以参考前述多元KPI时间序列的检测方法实施例中的对应过程,在此不再赘述。
上述实施例提供的装置可以实现为一种计算机程序的形式,该计算机程序可以在如图5所示的计算机设备上运行。
请参阅图5,图5为本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以为终端。
如图5所示,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口,其中,存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令,该程序指令被执行时,可使得处理器执行任意一种多元KPI时间序列的检测方法。
处理器用于提供计算和控制能力,支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行任意一种多元KPI时间序列的检测方法。
该网络接口用于进行网络通信,如发送分配的任务等。本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
应当理解的是,处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,在一个实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
根据预置切分策略和待训练的多元KPI时间序列,确定对应的待训练的多段子多元KPI时间序列,其中,所述待训练的子多元KPI时间序列为无标签;
根据所述待训练的子多元KPI时间序列训练预置模型,生成对应的确定性模型;
获取待检测的多元KPI时间序列;
根据所述待检测的多元KPI时间序列和所述确定性模型,获取所述待检测的多元KPI时间序列中待检测数值的重建概率值;
根据预置阈值和所述待检测数值的重建概率值,确定所述待检测数值对应的时刻是否为异常点。
在一个实施例中,所述处理器根据所述待训练的子多元KPI时间序列训练预置模型,生成对应的确定性模型实现时,用于实现:
将所述待训练的子多元KPI时间序列输入所述预置模型,提取所述待训练的子多元KPI时间序列中的数值;
根据预置编码程序对所述数值进行编码,获取所述数值的第一高斯分布和第一辅助变量;
根据预置解码程序对所述第一辅助变量进行解码,得到所述数值对应的第二高斯分布;
根据所述第一高斯分布和第二高斯分布训练所述预置模型的损失函数,生成对应的确定性模型。
在一个实施例中,所述处理器所述预置编码程序包括第一预置神经网络模型和第一全连接层,所述根据预置编码程序对所述数值进行编码,获取所述数值的第一高斯分布和第一辅助变量实现时,用于实现:
根据所述数值和第一预置神经网络模型,得到所述第一预置神经网络模型的第一隐藏变量;
根据第一预置全连接层和所述第一隐藏变量,得到所述数值对应的第一高斯分布;
基于所述第一高斯分布得到所述数值的第一辅助变量。
在一个实施例中,所述处理器所述解码程序包括第二预置神经网络模型和第二预置全连接层,所述根据预置解码程序对所述第一辅助变量进行解码,得到所述数值对应的第二高斯分布实现时,用于实现:
根据所述第一辅助变量和第二预置神经网络模型,得到所述第二预置神经网络模型的第二隐藏变量;
根据第二预置全连接层和所述第二隐藏变量,得到所述数值对应的第二高斯分布。
在一个实施例中,所述处理器所述根据所述第一高斯分布和第二高斯分布训练所述预置模型的损失函数,生成对应的确定性模型实现时,用于实现:
获取所述第二高斯分布中的累积分布概率;
根据所述累积分布概率和第一预置损失函数,得到所述数值的重建概率;
根据所述第一高斯分布,得到所述第一高斯分布的正则项;
根据所述正则项和第二预置损失函数,得到所述数值的正则化项;
基于所述重建概率和所述正则化项训练所述解码程序的网络参数和所述编码程序的网络参数,生成对应的确定性模型。
在一个实施例中,所述处理器所述得到所述数值的重建概率之后实现时,用于实现:
记录所述待训练的子多元KPI时间序列中各个数值的重建概率,并将各个所述数值的重建概率进行排序;
确定排序后所述重建概率中预置序号对应的目标重建概率,并将所述目标重建概率作为预置阈值。
在一个实施例中,所述处理器所述根据预置阈值和所述待检测数值的重建概率值,确定所述待检测数值的时刻是否为异常点实现时,用于实现:
将所述待检测数值的重建概率值与预置阈值进行比对,确定所述待检测数值的时刻是否为异常点;
若所述待检测数值的重建概率值小于所述预置阈值,则确定所述待检测数值的时刻为异常点。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序中包括程序指令,所述程序指令被执行时所实现的方法可参照本申请多元KPI时间序列的检测方法的各个实施例。
其中,所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元,例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备,例如所述计算机设备上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是预置模型和确定性模型的存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种多元KPI时间序列的检测方法,其特征在于,包括:
根据预置切分策略和待训练的多元KPI时间序列,确定对应的待训练的多段子多元KPI时间序列,其中,所述待训练的子多元KPI时间序列为无标签;
根据所述待训练的子多元KPI时间序列训练预置模型,生成对应的确定性模型;所述根据所述待训练的子多元KPI时间序列训练预置模型,生成对应的确定性模型,包括:将所述待训练的子多元KPI时间序列输入所述预置模型,提取所述待训练的子多元KPI时间序列中的数值;根据预置编码程序对所述数值进行编码,获取所述数值的第一高斯分布和第一辅助变量;根据预置解码程序对所述第一辅助变量进行解码,得到所述数值对应的第二高斯分布;通过获取所述第二高斯分布中的累积分布概率;根据所述累积分布概率和第一预置损失函数,得到所述数值的重建概率;根据所述第一高斯分布,得到所述第一高斯分布的正则项;根据所述正则项和第二预置损失函数,得到所述数值的正则化项;基于所述重建概率和所述正则化项训练所述解码程序的网络参数和所述编码程序的网络参数,生成对应的确定性模型;
获取待检测的多元KPI时间序列;
根据所述待检测的多元KPI时间序列和所述确定性模型,获取所述待检测的多元KPI时间序列中待检测数值的重建概率值;根据预置阈值和所述待检测数值的重建概率值,确定所述待检测数值对应的时刻是否为异常点。
2.如权利要求1所述的多元KPI时间序列的检测方法,其特征在于,所述预置编码程序包括第一预置神经网络模型和第一全连接层,所述根据预置编码程序对所述数值进行编码,获取所述数值的第一高斯分布和第一辅助变量,包括:
根据所述数值和第一预置神经网络模型,得到所述第一预置神经网络模型的第一隐藏变量;
根据第一预置全连接层和所述第一隐藏变量,得到所述数值对应的第一高斯分布;
基于所述第一高斯分布得到所述数值的第一辅助变量。
3.如权利要求1所述的多元KPI时间序列的检测方法,其特征在于,所述解码程序包括第二预置神经网络模型和第二预置全连接层,所述根据预置解码程序对所述第一辅助变量进行解码,得到所述数值对应的第二高斯分布,包括:
根据所述第一辅助变量和第二预置神经网络模型,得到所述第二预置神经网络模型的第二隐藏变量;
根据第二预置全连接层和所述第二隐藏变量,得到所述数值对应的第二高斯分布。
4.如权利要求1所述的多元KPI时间序列的检测方法,其特征在于,所述得到所述数值的重建概率之后,还包括:
记录所述待训练的子多元KPI时间序列中各个数值的重建概率,并将各个所述数值的重建概率进行排序;
确定排序后所述重建概率中预置序号对应的目标重建概率,并将所述目标重建概率作为预置阈值。
5.如权利要求1所述的多元KPI时间序列的检测方法,其特征在于,所述根据预置阈值和所述待检测数值的重建概率值,确定所述待检测数值的时刻是否为异常点,包括:
将所述待检测数值的重建概率值与预置阈值进行比对,确定所述待检测数值的时刻是否为异常点;
若所述待检测数值的重建概率值小于所述预置阈值,则确定所述待检测数值的时刻为异常点。
6.一种多元KPI时间序列的检测装置,其特征在于,包括:
第一确定模块,用于根据预置切分策略和待训练的多元KPI时间序列,确定对应的待训练的多段子多元KPI时间序列,其中,所述待训练的子多元KPI时间序列为无标签;
生成模块,用于根据所述待训练的子多元KPI时间序列训练预置模型,生成对应的确定性模型;所述根据所述待训练的子多元KPI时间序列训练预置模型,生成对应的确定性模型,包括:将所述待训练的子多元KPI时间序列输入所述预置模型,提取所述待训练的子多元KPI时间序列中的数值;根据预置编码程序对所述数值进行编码,获取所述数值的第一高斯分布和第一辅助变量;根据预置解码程序对所述第一辅助变量进行解码,得到所述数值对应的第二高斯分布;通过获取所述第二高斯分布中的累积分布概率;根据所述累积分布概率和第一预置损失函数,得到所述数值的重建概率;根据所述第一高斯分布,得到所述第一高斯分布的正则项;根据所述正则项和第二预置损失函数,得到所述数值的正则化项;基于所述重建概率和所述正则化项训练所述解码程序的网络参数和所述编码程序的网络参数,生成对应的确定性模型;
第一获取模块,用于获取待检测的多元KPI时间序列;
第二获取模块,用于根据所述待检测的多元KPI时间序列和所述确定性模型,获取所述待检测的多元KPI时间序列中待检测数值的重建概率值;
第二确定模块,用于根据预置阈值和所述待检测数值的重建概率值,确定所述待检测数值对应的时刻是否为异常点。
7.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序,其中所述计算机程序被所述处理器执行时,实现如权利要求1至5中任一项所述的多元KPI时间序列的检测方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,其中所述计算机程序被处理器执行时,实现如权利要求1至5中任一项所述的多元KPI时间序列的检测方法的步骤。
CN202011004044.3A 2020-09-22 2020-09-22 多元kpi时间序列的检测方法、装置、设备及存储介质 Active CN112131272B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011004044.3A CN112131272B (zh) 2020-09-22 2020-09-22 多元kpi时间序列的检测方法、装置、设备及存储介质
PCT/CN2020/125003 WO2021189844A1 (zh) 2020-09-22 2020-10-30 多元kpi时间序列的检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011004044.3A CN112131272B (zh) 2020-09-22 2020-09-22 多元kpi时间序列的检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112131272A CN112131272A (zh) 2020-12-25
CN112131272B true CN112131272B (zh) 2023-11-10

Family

ID=73842418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011004044.3A Active CN112131272B (zh) 2020-09-22 2020-09-22 多元kpi时间序列的检测方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN112131272B (zh)
WO (1) WO2021189844A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113114529B (zh) * 2021-03-25 2022-05-24 清华大学 基于条件变分自动编码器的kpi异常检测方法、装置和计算机存储介质
CN113761021A (zh) * 2021-08-17 2021-12-07 杭州涂鸦信息技术有限公司 时序指标数据降精度处理方法、装置和计算机设备
CN115906144B (zh) * 2021-08-26 2024-04-19 抖音视界有限公司 数据处理方法、数据处理装置、电子设备和可读存储介质
CN114065608B (zh) * 2021-10-21 2023-09-22 深圳市卓立智能制造有限公司 往复电磁泵输出功率稳定控制方法、系统和电子设备
CN114239952B (zh) * 2021-12-14 2024-02-13 建信金融科技有限责任公司 一种关键性能指标的异常检测方法、装置、设备及介质
CN113963085B (zh) * 2021-12-23 2022-03-29 树根互联股份有限公司 工业系统的状态表征方法、装置及电子设备
CN114881110B (zh) * 2022-04-02 2023-07-21 西安交通大学 一种在轨航天器舱内总压变化模式的实时检测方法
CN116304540A (zh) * 2023-05-23 2023-06-23 吉林大学 海洋观测数据处理方法及装置
CN117288441A (zh) * 2023-10-16 2023-12-26 中国气象科学研究院 一种Langley定标辅助方法及系统
CN117609881B (zh) * 2023-11-29 2024-04-30 阿童木(广州)智能科技有限公司 一种基于人工智能的金属重叠检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007066058A (ja) * 2005-08-31 2007-03-15 Toshiba Corp 時系列データ分析装置、時系列データ分析方法、及び時系列データ分析プログラム
CN109101986A (zh) * 2018-06-07 2018-12-28 国网山东省电力公司青岛供电公司 基于栈式降噪自编码器的输变电设备状态异常检测方法和系统
CN109978379A (zh) * 2019-03-28 2019-07-05 北京百度网讯科技有限公司 时序数据异常检测方法、装置、计算机设备和存储介质
CN110071913A (zh) * 2019-03-26 2019-07-30 同济大学 一种基于无监督学习的时间序列异常检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9075713B2 (en) * 2012-05-24 2015-07-07 Mitsubishi Electric Research Laboratories, Inc. Method for detecting anomalies in multivariate time series data
US20200097810A1 (en) * 2018-09-25 2020-03-26 Oracle International Corporation Automated window based feature generation for time-series forecasting and anomaly detection
CN109543943B (zh) * 2018-10-17 2023-07-25 国网辽宁省电力有限公司电力科学研究院 一种基于大数据深度学习的电价稽查执行方法
CN109492193B (zh) * 2018-12-28 2020-11-27 同济大学 基于深度机器学习模型的异常网络数据生成与预测方法
CN110058977B (zh) * 2019-01-14 2020-08-14 阿里巴巴集团控股有限公司 基于流式处理的监控指标异常检测方法、装置及设备
CN111277603B (zh) * 2020-02-03 2021-11-19 杭州迪普科技股份有限公司 无监督异常检测系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007066058A (ja) * 2005-08-31 2007-03-15 Toshiba Corp 時系列データ分析装置、時系列データ分析方法、及び時系列データ分析プログラム
CN109101986A (zh) * 2018-06-07 2018-12-28 国网山东省电力公司青岛供电公司 基于栈式降噪自编码器的输变电设备状态异常检测方法和系统
CN110071913A (zh) * 2019-03-26 2019-07-30 同济大学 一种基于无监督学习的时间序列异常检测方法
CN109978379A (zh) * 2019-03-28 2019-07-05 北京百度网讯科技有限公司 时序数据异常检测方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
采用滑动窗口及多重加噪比堆栈降噪自编码的风电机组状态异常检测方;陈俊生等;《电工技术学报》;第35卷(第2期);第347-352页 *

Also Published As

Publication number Publication date
WO2021189844A1 (zh) 2021-09-30
CN112131272A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112131272B (zh) 多元kpi时间序列的检测方法、装置、设备及存储介质
CN112380098B (zh) 一种时序异常检测方法、装置、计算机设备及存储介质
CN114065862B (zh) 一种多维时序数据异常检测方法和系统
CN111880998B (zh) 服务系统异常检测方法、装置、计算机设备和存储介质
JP7229308B2 (ja) 時系列データに対する普遍的敵対的攻撃から防御するための方法およびシステム
AU2019201789B2 (en) Failed and censored instances based remaining useful life (rul) estimation of entities
CN111091278B (zh) 机械设备异常检测的边缘检测模型构建方法及装置
CN111144548B (zh) 抽油机井工况的识别方法及装置
CN112462261B (zh) 一种电机异常检测方法、装置、电子设备及存储介质
CN112418292A (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN110929733A (zh) 除噪方法、装置、计算机设备、存储介质及模型训练方法
CN112086144A (zh) 分子生成方法、装置、电子设备及存储介质
CN115550053A (zh) 一种监控报警预测方法及装置
US20230368002A1 (en) Multi-scale artifical neural network and a method for operating same for time series forecasting
CN116127325A (zh) 基于多属性图的图神经网络业务流程异常检测方法和系统
CN114401205B (zh) 无标注多源网络流量数据漂移检测方法和装置
Kakde et al. A non-parametric control chart for high frequency multivariate data
CN114580791A (zh) 膨化机工作状态识别方法、装置、计算机设备、存储介质
CN115362454A (zh) 用于工业工厂机器学习系统的分层机器学习方法
CN113344060A (zh) 文本分类模型训练方法、诉讼状分类方法及装置
CN112798949A (zh) 一种抽水蓄能机组发电机温度预警方法和系统
CN117692346A (zh) 基于谱正则化变分自编码器的消息阻塞预测方法及装置
Correia et al. Online Time-series Anomaly Detection: A Survey of Modern Model-based Approaches
CN111986740B (zh) 化合物分类方法及相关设备
CN116662811B (zh) 一种工业设备的时序状态数据重构方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40040163

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant