CN115545169A - 基于gru-ae网络的多视角业务流程异常检测方法、系统以及设备 - Google Patents

基于gru-ae网络的多视角业务流程异常检测方法、系统以及设备 Download PDF

Info

Publication number
CN115545169A
CN115545169A CN202211362419.2A CN202211362419A CN115545169A CN 115545169 A CN115545169 A CN 115545169A CN 202211362419 A CN202211362419 A CN 202211362419A CN 115545169 A CN115545169 A CN 115545169A
Authority
CN
China
Prior art keywords
gru
event
network
attribute
anomaly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211362419.2A
Other languages
English (en)
Inventor
王伟
曹健
关威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiqun Information Technology Co ltd
Original Assignee
Shanghai Jiqun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiqun Information Technology Co ltd filed Critical Shanghai Jiqun Information Technology Co ltd
Priority to CN202211362419.2A priority Critical patent/CN115545169A/zh
Publication of CN115545169A publication Critical patent/CN115545169A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种基于GRU‑AE网络的多视角业务流程异常检测方法，包括以下步骤：数据预处理，执行事件日志的预处理；执行模型训练；以及异常检测，将获取的特征输入训练后的模型，以获得属性级的异常分数，并根据阈值，将轨迹或者属性标记为异常或正常；其中，所述数据预处理步骤还包括步骤：获取事件日志的每一个轨迹，在第一个事件之前添加一个虚拟的开始事件，在最后一个事件之后添加一个虚拟的结束事件，将事件日志转换为三阶张量，作为待输入的特征；本发明既可以应用于在线流程异常检测，及时的报告流程执行过程中发生的异常，又可以应用于离线流程异常检测，过滤事件日志中的异常轨迹，分析异常发生原因。

Description

基于GRU-AE网络的多视角业务流程异常检测方法、系统以及 设备
技术领域
本发明涉及数据异常检测领域，尤其涉及一种基于GRU-AE网络的多视角业务流程异常检测方法、系统以及设备。
背景技术
随着信息化的发展，企业越来越依赖流程感知信息系统(PAISs)来优化其流程。然而，现实生活中的流程中，异常现象无处不在，导致这些异常现象的发生有许多原因，如软件故障或操作员错误。检测业务流程执行中的异常情况是非常有意义的。一方面，尽早发现这些在业务流程执行过程中产生的异常情况，对企业的健康运行起着至关重要的作用。另一方面，为了优化流程，高质量的事件日志是必不可少的，事件日志中的异常应被检测和删除。例如，流程挖掘(PM)提供了理解和优化流程的技术。然而，大多数现有的流程挖掘技术只有在事件日志是干净的(即没有异常)时才有效。
事件日志包含多个维度的信息，如活动、资源、数据和时间，并且这些信息之间存在复杂的内在关系。例如，活动的执行遵循一定的顺序(控制流依赖)；数据在每个活动中被传递和修改(数据流依赖)；不同的活动根据不同的数据值执行(控制流和数据流耦合)；活动的持续时间不同(时间依赖)；不同的活动由不同的机器或用户执行(资源依赖)。事件日志的异常可以分为六类，即：跳过、插入、重做、提前、延误和属性异常，其中前五类异常可称为控制流异常，是由活动执行顺序中的错误引起的。资源、数据和时间的错误都被归类为属性异常。复杂的依赖关系和多样化的异常情况给业务流程中的异常检测带来了巨大的挑战。
发明内容
本发明的目的之一在于提供一种基于GRU-AE网络的多视角业务流程异常检测方法、系统以及设备，通过训练一个能够重建正常行为的以GRU为主要结构的自编码器，训练好的模型被用来检测事件日志中的异常。
为了实现本发明的至少一个发明目的，本发明提供了一种基于GRU-AE网络的多视角业务流程异常检测方法，所述基于GRU-AE网络的多视角业务流程异常检测方法包括以下步骤：
数据预处理，执行事件日志的预处理；
执行模型训练；以及
异常检测，将获取的特征输入训练后的模型，以获得属性级的异常分数，并根据阈值，将轨迹或者属性标记为异常或正常；
其中，所述数据预处理步骤还包括步骤：获取事件日志的每一个轨迹，在第一个事件之前添加一个虚拟的开始事件，在最后一个事件之后添加一个虚拟的结束事件，将事件日志转换为三阶张量，作为待输入的特征；
其中，所述执行模型训练步骤还包括步骤：GRU-AE网络基于转换后的三维张量执行模型训练，学习事件日志中的正常行为，其中损失函数基于交叉熵准则，重建每个事件的每个属性在每个轨迹的属性值，公式为：
Figure BDA0003922506140000021
公式中，t表示轨迹，e表示事件，a表示属性，T表示日志中的轨迹数量，E表示在日志中的轨迹的最大长度，A表示属性个数；
其中，所述异常检测步骤还包括步骤：异常分数被定义为在概率分布中大于指定属性值v的概率pv的所有概率之和，公式为：
Figure BDA0003922506140000022
其中，通过使用一个阈值τ，将异常分数映射为0或1，0表示正常，1表示异常。
在一些实施例中，其中使用可能包含异常轨迹的事件日志进行训练，学习正常行为，用于检测异常，根据属性级的异常分数的阈值，从而事件日志中重建误差大的部分被判定为异常。
在一些实施例中，其中所述基于GRU-AE网络的多视角业务流程异常检测方法还包括步骤：GRU-AE网络训练过程中执行教师强迫方法。
在一些实施例中，其中还包括步骤：提供包括多个编码器和解码器的网络结构，属性集合中的每个属性被分配了一个编码器和一个解码器，在编码器中，以双向GRU作为主要结构，学习特征的表示；在解码器中，以GRU为主要结构，重建正常行为；引入注意力机制。
在一些实施例中，其中所述模型训练步骤中，还包括步骤：使用批量归一化和随机失活方法，以抵制过度拟合。
根据本发明的另一方面，还提供了一种基于GRU-AE网络的多视角业务流程异常检测设备，包括：
存储器，用于存储软件应用程序，
处理器，用于执行所述软件应用程序，所述软件应用程序各程序相对应地执行所述的基于GRU-AE网络的多视角业务流程异常检测方法中的步骤。
根据本发明的另一方面，还提供了一种基于GRU-AE网络的多视角业务流程异常检测系统，所述基于GRU-AE网络的多视角业务流程异常检测系统包括事件日志预处理单元、模型训练单元以及异常检测单元，所述事件日志预处理单元执行事件日志的预处理，获取事件日志的每一个轨迹，在第一个事件之前添加一个虚拟的开始事件，在最后一个事件之后添加一个虚拟的结束事件，将事件日志转换为三阶张量，作为待输入的特征；所述模型训练单元执行模型训练，所述异常检测单元获取所述事件日志预处理单元的特征输入所述模型训练单元训练后的模型，以获得属性级的异常分数，并根据阈值，将轨迹或者属性标记为异常或正常；
其中，所述模型训练单元中重建每个事件的每个属性在每个轨迹的属性值的公式为：
Figure BDA0003922506140000031
公式中，t表示轨迹，e表示事件，a表示属性，T表示日志中的轨迹数量，E表示在日志中所有轨迹的最大长度，A表示属性个数；
其中，所述异常检测单元中异常分数被定义为在概率分布中大于指定属性值v的概率pv的所有概率之和，公式为：
Figure BDA0003922506140000032
其中，通过使用一个阈值τ，将异常分数映射为0或1，0表示正常，1表示异常。
在一些实施例中，其中所述模型训练单元设置有GRU-AE网络模型，通过无监督学习训练模型，所述模型训练单元为属性集合中的每个属性指定了一个编码器和一个解码器，所有编码器输出的向量h被输入到每个解码器，而每个编码器输出的向量s被输入到相应的解码器，所述模型训练单元在所述GRU-AE网络模型中引入注意力机制以及在自动编码器训练过程中引入教师强迫方法，通过注意力机制识别哪些事件的哪些属性与该解码器相关的属性的下一个目标值有关，并对这些属性值给予高的注意力权重。
在一些实施例中，其中批量归一化和随机失活方法被应用于所述基于GRU-AE网络的多视角业务流程异常检测系统的网络结构中，以抵制过度拟合。
在一些实施例中，其中所述模型训练单元执行模型训练时，以交叉熵作为损失函数的主要组成部分。
附图说明
图1是根据本发明的一个实施例的一种基于GRU-AE网络的多视角业务流程异常检测系统的异常检测框架示意图。
图2是根据本发明的上述实施例的所述基于GRU-AE网络的多视角业务流程异常检测系统的架构示意图。
图3是根据本发明的上述实施例的所述基于GRU-AE网络的多视角业务流程异常检测系统的编码器示意图。
图4是根据本发明的上述实施例的所述基于GRU-AE网络的多视角业务流程异常检测系统的解码器示意图.
图5是根据本发明的上述实施例的所述基于GRU-AE网络的多视角业务流程异常检测系统的对于某个事件的某个属性输出的概率分布示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
本发明中，所涉及的GRU为门控递归单元的简称，AE为自动编码器的简称。
本发明为涉及计算机程序的发明。本发明的一种基于GRU-AE网络的多视角业务流程异常检测方法，阐述了为解决本发明提出的问题，以计算机程序处理流程为基础，通过计算机执行按流程编制的计算机程序，对计算机外部对象或者内部对象进行控制或处理的解决方案。
本发明的所述基于GRU-AE网络的多视角业务流程异常检测方法，基于GRU网络。GRU是一种递归神经网络工作，相比于LSTM(长短期记忆网络，Long Short-Term Memory)，它更简单、更有效。GRU能够被应用于与时间序列有关的任务。GRU的机制用以下公式表示。
ze＝σ(Wzxe+Uzhe-1+bz) (1)
re＝σ(Wrxe+Urhe-1+br) (2)
he＝tanh(U(reοhe-1)+Wxe+b) (3)
Figure BDA0003922506140000051
在上述公式中，he是在时间步e时的隐藏状态，xe是在时间步e时的输入，he-1是在时间步e-1时的隐藏状态，h0是初始隐藏状态。在GRU单元中有两个门：更新门和重置门，其功能分别由公式(1)和公式(2)说明。更新门控制需要更新的记忆量，而重置门则决定需要丢弃的记忆部分。因此，在执行公式(3)和公式(4)之后，当前隐藏状态的输出被生成，它将被用作下一个状态的记忆。本领域的技术人员可以理解的是，o是一个逐元乘法，σ()是sigmoid函数。
通过本发明的所述基于GRU-AE网络的多视角业务流程异常检测方法，能够通过训练一个能够重建正常行为的以GRU为主要结构的自动编码器，训练好的模型被用来检测事件日志中的异常。可以理解的是，本发明所称“计算机”不仅仅指台式电脑、笔记本电脑、平板等设备，还包括其他能够按照程序运行，处理数据的智能电子设备。
具体地，所述基于GRU-AE网络的多视角业务流程异常检测方法包括以下步骤：
S100：数据预处理，执行事件日志的预处理；
S200：执行模型训练；以及
S300：异常检测，将获取的特征输入训练后的模型，以获得属性级的异常分数，并根据阈值，将轨迹或者属性标记为异常或正常。
其中，具体地，其中所述S100数据预处理步骤还包括以下步骤：
获取事件日志的每一个轨迹，在第一个事件之前添加一个虚拟的开始事件，在最后一个事件之后添加一个虚拟的结束事件，将事件日志转换为三阶张量。
更具体地，优选实施例中，所述S100数据预处理步骤中对可能包含异常轨迹的事件日志进行预处理，将其转换为一个三维张量。需要将一个属性a的所有可能的属性值
Figure BDA0003922506140000061
映射到一个唯一的正整数，表示为
Figure BDA0003922506140000062
然后，事件日志被表示为一个三维张量，这个三维张量也被称为特征。也就是说，更具体地，在本发明的这个优选实施例中，为了检测第一个和最后一个事件可能出现的异常，对事件日志中的每一个轨迹，在第一个事件之前添加一个虚拟的开始事件
Figure BDA0003922506140000063
在最后一个事件之后添加一个虚拟的结束事件'■'。由于神经网络的数学性质，事件日志被转换成三维张量。
也就是说，在本发明的优选实施例中，待检测的事件日志的特征是：
Figure BDA0003922506140000064
Figure BDA0003922506140000065
是一组属性，其中
Figure BDA0003922506140000066
Va是属性
Figure BDA0003922506140000067
的可能值集合。
Figure BDA0003922506140000068
Figure BDA0003922506140000069
是一个事件，它是每个属性的其中一个可能值组成的序列，其中va∈Va。轨迹t是一个事件序列，事件日志L则是一个轨迹序列。
在执行所述S100步骤时，首先，将一个属性a的所有可能的属性值映射为一个唯一的正整数，表示为
Figure BDA00039225061400000610
然后，事件日志被表示为一个三阶张量。每个事件e是一个一阶张量RA，其中A是属性个数。然后，每个轨迹t被表示为一个二阶张量RE*A，E是在日志中所有轨迹的最大长度。为了使所有的轨迹具有相同的长度，只包含零的事件张量被用来填充所有较短的轨迹，定义为填充事件，它将被神经网络忽略。最后，日志被表示为一个三阶张量RT *E*A，其中T是日志中的轨迹数量。
其中，具体地，其中所述S200模型训练步骤还包括以下步骤：
GRU-AE网络基于转换后的三维张量执行模型训练，学习事件日志中的正常行为，其中损失函数基于交叉熵准则，重建每个事件的每个属性在每个轨迹的属性值，公式为：
Figure BDA0003922506140000071
公式中，t表示轨迹，e表示事件，a表示属性，T表示日志中的轨迹数量，E表示在日志中所有轨迹的最大长度，A表示属性个数。
值得一提的是，所述S200模型训练步骤中，使用批量归一化和随机失活方法，以抵制过度拟合；用批量SGD(随机梯度下降，Stochastic Gradient Descent)训练模型权重，并用Adam(自适应矩估计，adaptive moment estimation)优化。
具体地，在本发明的这个优选实施例中，在训练GRU-AE网络时，原始输入被用作目标输出，GRU-AE网络的训练思想与之一致。即使在含有异常情况的数据集上训练，模型也能捕捉到正常行为。
其中，具体地，其中所述S300异常检测步骤还包括以下步骤：
异常分数被定义为在概率分布中大于指定属性值v的概率pv的所有概率之和，如下：
Figure BDA0003922506140000072
其中，通过使用一个阈值τ，将异常分数映射为0或1，0表示正常，1表示异常。
训练好的模型能够被用来检测异常情况，与正常属性值相比，异常属性值的概率要低。在本发明的优选实施例中，异常分数越高，属性值就越可能是异常的。通过检测在哪个轨迹中哪个属性是异常的，可以解释异常的原因。
值得一提的是，本发明的所述基于GRU-AE网络的多视角业务流程异常检测方法使用包含异常轨迹的事件日志进行训练，学习正常行为，然后用于检测异常，事件日志中重建误差较大的部分则被判定为异常。本发明的所述基于GRU-AE网络的多视角业务流程异常检测方法能够基于一个带有GRU的自动编码器(AE)，以无监督的方式进行训练(即不需要对数据进行任何标记)，也不需要任何专家知识的过程。同时，与大多数深度学习模型不同，本发明不需要一个干净的事件日志来训练。即使直接使用包含异常轨迹的事件日志进行训练并执行检测，其性能也非常好。此外，本发明不仅可以应用于离线检测，还可以用于在线检测。与大多数深度学习模型类似，本发明可以递增训练以应对现实生活中的信息系统中经常出现的概念漂移。
本领域的技术人员能够理解的是，可以以方法、系统或计算机程序产品的形式提供本发明的实施例。因此，本发明可采取全硬件实施例、全软件实施例，或者组合软件和硬件的实施例的形式。
本领域的技术人员可以理解的是，本发明可以在至少一个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同部分以分散方式实现。任何可以实现方法的计算机系统或其它设备都是可适用的。常用软硬件的结合可以是安装有计算机程序的通用计算机系统，通过安装和执行程序控制计算机系统，使其按方法运行。
本发明可以嵌入在计算机程序产品中，它包括使此处描述的方法得以实施的所有特征。所述计算机程序产品被包含在一个或多个计算机可读存储介质中，所述计算机可读存储介质具有包含于其中的计算机可读程序代码。根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时能够执行本发明的方法的步骤。计算机存储介质是计算机存储器中用于存储某种不连续物理量的媒体。计算机存储介质包括但不限于半导体、磁盘存储器、磁芯、磁鼓、磁带、激光盘等。本领域的技术人员可以理解的是，计算机存储介质并不局限于前述举例，前述例子仅仅作为举例而并不限于本发明。
根据本发明的另一方面，还提供了一种基于GRU-AE网络的多视角业务流程异常检测设备，该基于GRU-AE网络的多视角业务流程异常检测设备包括：软件应用程序、用于存储软件应用程序的存储器，以及处理器，用于执行该软件应用程序。该软件应用程序的各程序能够相对应地执行本发明的该基于GRU-AE网络的多视角业务流程异常检测方法中的步骤。
与本发明方法的实施例相对应，根据本发明的另一方面，还提供了一种基于GRU-AE网络的多视角业务流程异常检测系统，该基于GRU-AE网络的多视角业务流程异常检测系统为本发明的该基于GRU-AE网络的多视角业务流程异常检测方法在计算机程序改进上的应用。
如图1所示，所述基于GRU-AE网络的多视角业务流程异常检测系统的多视角业务流程异常检测流程为：
首先，对可能包含异常轨迹的事件日志进行预处理，将其转换为一个三维张量。将一个属性a的所有可能的属性值
Figure BDA0003922506140000081
映射到一个唯一的正整数，表示为
Figure BDA0003922506140000082
Figure BDA0003922506140000083
然后，事件日志可以被表示为一个三维张量，这个三维张量也被称为特征。
接下来，GRU-AE网络在这个张量上进行训练，学习事件日志中的正常行为。训练时，以交叉熵作为损失函数的主要组成部分。使用批量归一化和随机失活方法，以抵制过度拟合。模型权重是用批量SGD训练的，并用Adam优化。
最后，在第一步中得到的特征被输入训练好的模型，以获得属性级的异常分数，并根据阈值，将轨迹或者属性标记为异常或正常。
具体地，在本发明的具体实施例中，所述基于GRU-AE网络的多视角业务流程异常检测系统设置有事件日志预处理单元、模型训练单元以及异常检测单元。
更具体地，所述基于GRU-AE网络的多视角业务流程异常检测系统的网络结构的特征如图2所示。GRU-AE网络是基于一个带有门控递归单元(GRU)的自动编码器(AE)，它是通过无监督学习来训练的。常见的自动编码器由两部分组成，即编码器和解码器。自动编码器的结构被训练为学习接近其原始输入的重构，而门控递归单元(GRU)被用来提取属性的特征。与普通的自动编码器不同，GRU-AE网络中有多个编码器和解码器。所述基于GRU-AE网络的多视角业务流程异常检测系统的所述模型训练单元为属性集合中的每个属性指定了一个编码器和一个解码器。所有编码器输出的向量h将被输入到每个解码器，而每个编码器输出的向量s将被输入到相应的解码器。受教师强迫法(神经网络网络训练方法之一，在训练循环神经网络时，它每次不使用上一个状态的输出作为下一个状态的输入，而是直接使用训练数据的地面真实(ground truth)的对应上一项作为下一个状态的输入)的启发，将地面真实F输入到解码器中。最后，概率分布Pt,e,a将由解码器输出，该概率分布是每个事件e在每个轨迹t中的每个属性a的所有可能值的概率分布。
更具体地，所述基于GRU-AE网络的多视角业务流程异常检测系统的所述模型训练单元中GRU-AE网络中的编码器如图3所示。GRU通常从以前的状态中学习信息。然而，当前的属性值取决于它之前和之后的属性值，因此这种学习行为不足以重建实际属性值。因此，所述基于GRU-AE网络的多视角业务流程异常检测系统的所述模型训练单元使用双向门控递归单元(BGRU)作为编码器的主要组成部分，它是GRU的扩展，由两个GRU组成：一个接受前向输入的前向GRU和一个接受反向输入的反向GRU。首先，每个属性值Fe通过一个嵌入层，将每个属性值(正整数)转换为向量表示Fe，目的是学习一个比one-hot编码更低维的表示。然后，嵌入向量fe被送入BGRU层。前向GRU按顺序读取输入，而反向GRU则是反向读取。BGRU为事件e生成前向隐藏状态
Figure BDA0003922506140000101
和反向隐藏状态
Figure BDA0003922506140000102
然后将它们连接起来，生成编码器的输出
Figure BDA0003922506140000103
前向GRU的最终隐藏状态
Figure BDA0003922506140000104
和反向GRU的最终隐藏状态
Figure BDA0003922506140000105
被连接起来，并通过一个线性层来生成s0。在线性层中，使用Leaky ReLU作为激活函数。
Figure BDA0003922506140000106
更具体地，所述基于GRU-AE网络的多视角业务流程异常检测系统的所述模型训练单元的GRU-AE网络中的解码器如图4所示。与编码器相反，解码器将向量转换为有意义的概率分布P。属性值的概率越高，它就越可能是正常的。
首先，所有编码器的输出H＝{H1,h2,…,hE*A}需要经过注意力层，生成ce。
Figure BDA0003922506140000107
接下来，为了更好地重建目标属性值，所述模型训练单元引入了在自然语言处理领域使用的教师强迫方法，用之前的地面真实属性值Fe-1来预测当前的属性值。我们将[ce；fe-1]输入到GRU中，它是ce和fe-1的连接，其中fe-1是Fe-1的嵌入向量(见图4的蓝色部分)。GRU的初始隐藏状态是与解码器对应相同属性的编码器的输出s0。最后，我们将se、ce和fe-1串联起来，得到[se；ce；fe-1]，其中se是GRU的隐藏状态。经过线性层以及softmax层，可以得到事件e中各个属性的所有可能值的概率分布Pe。
值得一提的是，所述模型训练单元引入注意力机制，注意机制在编码器和解码器之间起着桥梁作用。注意力机制旨在识别哪些事件的哪些属性与该解码器相关的属性的下一个目标值有关，并对这些属性值给予高的注意力权重。这是基于编码器的输出H＝{h1,h2,…,hE*A}和解码器中GRU层的上一个隐藏状态se-1。
Figure BDA0003922506140000108
Figure BDA0003922506140000109
在公式(5)中，[·；·]表示连接两个向量，而energye,i表示能量状态。直观地说，在公式(6)中，由事件e产生的所有能量状态energye,i都用softmax进行归一化处理，得到注意力权重αe,i，以报告重建过程中每个属性值的重要性。注意力权重αe,i越高，就说明hi对下一个属性值的预测越重要。
在具体的实施例中，所述事件日志预处理单元执行数据预处理，被实施为：为了检测第一个和最后一个事件可能出现的异常，我们对日志中的每一个轨迹，在第一个事件之前添加一个虚拟的开始事件
Figure BDA0003922506140000111
在最后一个事件之后添加一个虚拟的结束事件'■'。由于神经网络的数学性质，我们必须将日志转换成三维张量。首先，我们需要将一个属性a的所有可能的属性值映射为一个唯一的正整数，表示为
Figure BDA0003922506140000112
然后，事件日志可以被表示为一个三阶张量。每个事件e是一个一阶张量RA，其中A是属性个数。然后，每个轨迹t被表示为一个二阶张量RE*A，E是在日志中所有轨迹的最大长度。为了使所有的轨迹具有相同的长度，我们用只包含零的事件张量来填充所有较短的轨迹，我们把它称为填充事件，它将被神经网络忽略。最后，日志可以表示为一个三阶张量RT*E*A，其中T是日志中的轨迹数量。
在具体的实施例中，所述模型训练单元执行模型训练，被实施为：
在训练自动编码器时，原始输入被用作目标输出，GRU-AE网络的训练思想与之一致。即使在含有异常轨迹的数据集上训练，模型也能捕捉到正常行为。交叉熵准则被用来训练整个网络。重建每个事件的每个属性在每个轨迹的属性值，公式为：
Figure BDA0003922506140000113
批量归一化和随机失活方法被应用于网络结构中，以抵制过度拟合。模型权重是用批量SGD训练的，并用Adam优化。
在具体的实施例中，所述异常检测单元执行异常检测，被实施为：
在训练阶段之后，可以利用训练好的模型来检测异常情况。直观地说，与正常属性值相比，异常属性值的概率要低。基于这一思想，异常分数被定义为在概率分布中大于指定属性值v的概率pv的所有概率之和，形式化如下：
Figure BDA0003922506140000114
通过使用一个阈值τ，将异常分数映射为0或1，0表示正常，1表示异常。异常分数越高，属性值就越可能是异常的。通过检测在哪个轨迹中哪个属性是异常的，可以解释异常的原因。
本发明的所述基于GRU-AE网络的多视角业务流程异常检测系统既可以应用于在线流程异常检测，及时的报告流程执行过程中发生的异常，又可以应用于离线流程异常检测，过滤事件日志中的异常轨迹，分析异常发生原因。
本领域的技术人员可以理解的是，已参考根据本发明的方法、系统及计算机程序产品的流程图和/或方框图说明了本发明。流程图和/或方框图中的每个方框，以及流程图和/或方框图中的方框的组合显然可由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、嵌入式处理器或者其他可编程的数据处理设备的处理器，以产生一台机器，从而指令(所述指令通过计算机或者其他可编程数据处理设备的处理器)产生用于实现在流程图和/或方框图的一个或多个方框中规定的功能的装置。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离该原理下，本发明的实施方式可以有任何变形或修改。

Claims (10)

1.一种基于GRU-AE网络的多视角业务流程异常检测方法，其特征在于，所述基于GRU-AE网络的多视角业务流程异常检测方法包括以下步骤：
数据预处理，执行事件日志的预处理；
执行模型训练；以及
异常检测，将获取的特征输入训练后的模型，以获得属性级的异常分数，并根据阈值，将轨迹或者属性标记为异常或正常；
其中，所述数据预处理步骤还包括步骤：获取事件日志的每一个轨迹，在第一个事件之前添加一个虚拟的开始事件，在最后一个事件之后添加一个虚拟的结束事件，将事件日志转换为三阶张量，作为待输入的特征；
其中，所述执行模型训练步骤还包括步骤：GRU-AE网络基于转换后的三维张量执行模型训练，学习事件日志中的正常行为，其中损失函数基于交叉熵准则，重建每个事件的每个属性在每个轨迹的属性值，公式为：
Figure FDA0003922506130000011
公式中，t表示轨迹，e表示事件，a表示属性，T表示日志中的轨迹数量，E表示在日志中的轨迹的最大长度，A表示属性个数；
其中，所述异常检测步骤还包括步骤：异常分数被定义为在概率分布中大于指定属性值v的概率pv的所有概率之和，公式为：
Figure FDA0003922506130000012
其中，通过使用一个阈值τ，将异常分数映射为0或1，0表示正常，1表示异常。
2.如权利要求1所述的基于GRU-AE网络的多视角业务流程异常检测方法，其中使用包含异常轨迹的事件日志进行训练，学习正常行为，用于检测异常，根据异常分数的阈值，从而事件日志中重建误差大的部分被判定为异常。
3.如权利要求1所述的基于GRU-AE网络的多视角业务流程异常检测方法，其中所述基于GRU-AE网络的多视角业务流程异常检测方法还包括步骤：在GRU-AE网络训练过程中执行教师强迫方法。
4.如权利要求1所述的基于GRU-AE网络的多视角业务流程异常检测方法，其中还包括步骤：提供包括多个编码器和解码器的网络结构，属性集合中的每个属性被分配了一个编码器和一个解码器，在编码器中，以双向GRU作为主要结构，学习特征的表示；在解码器中，以GRU为主要结构，重建正常行为；引入注意力机制。
5.如权利要求1至4中任一所述的基于GRU-AE网络的多视角业务流程异常检测方法，其中所述模型训练步骤中，还包括步骤：使用批量归一化和随机失活方法，以抵制过度拟合。
6.一种基于GRU-AE网络的多视角业务流程异常检测设备，其特征在于，包括：
存储器，用于存储软件应用程序，
处理器，用于执行所述软件应用程序，所述软件应用程序各程序相对应地执行权利要求1至5中任一所述的基于GRU-AE网络的多视角业务流程异常检测方法中的步骤。
7.一种基于GRU-AE网络的多视角业务流程异常检测系统，其特征在于，所述基于GRU-AE网络的多视角业务流程异常检测系统包括事件日志预处理单元、模型训练单元以及异常检测单元，所述事件日志预处理单元执行事件日志的预处理，获取事件日志的每一个轨迹，在第一个事件之前添加一个虚拟的开始事件，在最后一个事件之后添加一个虚拟的结束事件，将事件日志转换为三阶张量，作为待输入的特征；所述模型训练单元执行模型训练，所述异常检测单元获取所述事件日志预处理单元的特征输入所述模型训练单元训练后的模型，以获得属性级的异常分数，并根据阈值，将轨迹或者属性标记为异常或正常；
其中，所述模型训练单元中重建每个事件的每个属性在每个轨迹的属性值的公式为：
Figure FDA0003922506130000021
公式中，t表示轨迹，e表示事件，a表示属性，T表示日志中的轨迹数量，E表示在日志中所有轨迹的最大长度，A表示属性个数；
其中，所述异常检测单元中异常分数被定义为在概率分布中大于指定属性值v的概率pv的所有概率之和，公式为：
Figure FDA0003922506130000031
其中，通过使用一个阈值τ，将异常分数映射为0或1，0表示正常，1表示异常。
8.如权利要求7所述的基于GRU-AE网络的多视角业务流程异常检测系统，其中所述模型训练单元设置有GRU-AE网络模型，通过无监督学习训练模型，所述模型训练单元为属性集合中的每个属性指定了一个编码器和一个解码器，所有编码器输出的向量h被输入到每个解码器，而每个编码器输出的向量s被输入到相应的解码器，所述模型训练单元在所述GRU-AE网络模型中引入注意力机制以及在自动编码器训练过程中引入教师强迫方法，通过注意力机制识别哪些事件的哪些属性与该解码器相关的属性的下一个目标值有关，并对这些属性值给予高的注意力权重。
9.如权利要求7所述的基于GRU-AE网络的多视角业务流程异常检测系统，其中批量归一化和随机失活方法被应用于所述基于GRU-AE网络的多视角业务流程异常检测系统的网络结构中，以抵制过度拟合。
10.如权利要求7至9中任一所述的GRU-AE网络的多视角业务流程异常检测系统，其中所述模型训练单元执行模型训练时，以交叉熵作为损失函数的主要组成部分。
CN202211362419.2A 2022-11-02 2022-11-02 基于gru-ae网络的多视角业务流程异常检测方法、系统以及设备 Pending CN115545169A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211362419.2A CN115545169A (zh) 2022-11-02 2022-11-02 基于gru-ae网络的多视角业务流程异常检测方法、系统以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211362419.2A CN115545169A (zh) 2022-11-02 2022-11-02 基于gru-ae网络的多视角业务流程异常检测方法、系统以及设备

Publications (1)

Publication Number Publication Date
CN115545169A true CN115545169A (zh) 2022-12-30

Family

ID=84720269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211362419.2A Pending CN115545169A (zh) 2022-11-02 2022-11-02 基于gru-ae网络的多视角业务流程异常检测方法、系统以及设备

Country Status (1)

Country Link
CN (1) CN115545169A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117993307A (zh) * 2024-04-07 2024-05-07 中国海洋大学 基于深度学习的地球系统模拟结果一致性评估方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117993307A (zh) * 2024-04-07 2024-05-07 中国海洋大学 基于深度学习的地球系统模拟结果一致性评估方法

Similar Documents

Publication Publication Date Title
Hoang et al. Deepjit: an end-to-end deep learning framework for just-in-time defect prediction
US10831577B2 (en) Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model
Caceres et al. A probabilistic Bayesian recurrent neural network for remaining useful life prognostics considering epistemic and aleatory uncertainties
US11651216B2 (en) Automatic XAI (autoXAI) with evolutionary NAS techniques and model discovery and refinement
Zeng et al. Estimation of software defects fix effort using neural networks
US20210072740A1 (en) Deep causality learning for event diagnosis on industrial time-series data
Paul et al. Software metrics knowledge and databases for project management
CN112685207A (zh) 错误评估的方法、设备和计算机程序产品
CN115545169A (zh) 基于gru-ae网络的多视角业务流程异常检测方法、系统以及设备
KR20240043655A (ko) 공정 설비의 비정상 동작 감지를 위한 기준 입계값 설정 방법
CN114357858A (zh) 一种基于多任务学习模型的设备劣化分析方法及系统
Chen et al. Deep attentive anomaly detection for microservice systems with multimodal time-series data
del Rey et al. Bayesian Network analysis of software logs for data‐driven software maintenance
Ferlin et al. An automated method for the study of human reliability in railway supervision systems
Bhowmik Machine Learning in Production: From Experimented ML Model to System
Strasser et al. An empirical evaluation of Bayesian networks derived from fault trees
Jiang Research on software defect prediction technology based on deep learning
CN111183486B (zh) 用于提高医学成像设备的可靠性的系统和方法
Baranowski Application of bayesian functional gaussian mixture model classifier for cable fault isolation
Mbogu et al. Data-Driven Root Cause Analysis Via Causal Discovery Using Time-To-Event Data
JP7299881B2 (ja) 医用イメージングデバイスの信頼性を向上するためのシステム及び方法
Kaushal et al. PSO based neural network approaches for prediction of level of severity of faults in nasa’s public domain defect dataset
Nicholson Data-Driven Root Cause Analysis Via Causal Discovery Using Time-To-Event Data
Shahamiri et al. Intelligent and automated software testing methods classification
Paglioni et al. Creating Formative HRA Dependency Models Using the HRA Dependency Idioms and Sacada Data, Part I: Model Construction Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination