CN116127325A - 基于多属性图的图神经网络业务流程异常检测方法和系统 - Google Patents
基于多属性图的图神经网络业务流程异常检测方法和系统 Download PDFInfo
- Publication number
- CN116127325A CN116127325A CN202310239298.0A CN202310239298A CN116127325A CN 116127325 A CN116127325 A CN 116127325A CN 202310239298 A CN202310239298 A CN 202310239298A CN 116127325 A CN116127325 A CN 116127325A
- Authority
- CN
- China
- Prior art keywords
- attribute
- graph
- event
- directed
- probability distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 31
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 21
- 238000009826 distribution Methods 0.000 claims abstract description 50
- 230000008569 process Effects 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000002547 anomalous effect Effects 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims description 66
- 239000013598 vector Substances 0.000 claims description 53
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 14
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 230000002779 inactivation Effects 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Debugging And Monitoring (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明提供了一种基于多属性图的图神经网络业务流程异常检测方法和系统,包括:步骤1:通过多图生成器将事件日志中的轨迹转换为多张图;步骤2:将转换后的多张图输入到多图编码器中进行独热编码和位置编码,获得每个节点的隐藏表示;步骤3:通过多序列解码器将每个节点的隐藏表示解码成概率分布;步骤4:通过异常得分计算器根据概率分布计算异常分数,并根据阈值将轨迹和属性标记为异常或正常。本发明解决了业务流程领域中异常检测技术问题,能够自动检测事件日志中的异常轨迹并指出异常的根本原因。
Description
技术领域
本发明涉及业务流程异常检测技术领域,具体地,涉及一种基于多属性图的图神经网络业务流程异常检测方法和系统。
背景技术
异常检测也被称为离群点检测、新颖性检测等,主要是在正常实例群识别罕见的、意外的和可疑的实例。它的应用范围很广,包括垃圾邮件检测、金融欺诈检测、网络安全中的入侵检测等,对协助从业者和决策者从数据中发现、管理和避免异常模式有重大意义。随着近年来信息技术的发展,企业越来越依赖流程感知信息系统PAIS来优化其流程。然而,流程中的异常是不可避免的,这有许多原因,如系统故障、操作员错误等。业务流程中的异常检测已经吸引了大量的研究关注。
检测业务流程中的异常情况是有意义的。首先,企业的健康运行取决于对业务流程执行过程中出现的异常情况的早期检测。此外,低质量的事件日志(即含有异常)会阻碍我们从中提取有价值的信息的能力,所以我们需要检测和删除异常。例如,流程挖掘PM提供了理解和加强各应用领域流程的技术。使用低质量事件日志的过程挖掘技术的输出也可能是低质量的,从而降低了基于它的任何决策的质量。
事件日志存在如活动、资源、数据和时间等多个视角,并且它们之间有复杂的依赖关系。例如,i)控制流依赖:活动的执行遵循特定的顺序;ii)数据流依赖:数据在每个活动的执行过程中被传递和修改;iii)控制流和数据流耦合:根据不同的数据值执行不同的活动;iv)时间依赖:不同的活动有不同的持续时间。以及iv)资源依赖:不同的机器或用户执行不同的活动。如何捕捉这些复杂的依赖关系,检测业务流程中的异常是一项有挑战的任务。
专利文献CN115115019A(申请号:CN202110296482.X)公开了一种基于神经网络的异常检测方法,用于对多维时序数据中的异常数据进行自动化检测,包括以下步骤:
步骤1,根据多维时序数据的长短设置长、中、短三个时间窗口长度,将多维时序数据根据时间窗口长度划分为多个时间窗口数据并根据划分后时间窗口长度计算相关性矩阵作为对应时间窗口数据的信号矩阵;步骤2,通过卷积神经网络对信号矩阵的空间信息进行提取,并对信号矩阵进行编码;步骤3,通过卷积长短记忆神经网络对信号矩阵的时序信息进行提取,并添加到编码后的信号矩阵;步骤4,将编码后的信号矩阵通过卷积神经网络与卷积长短记忆神经网络进行解码得到还原矩阵,对还原矩阵与信号矩阵计算重建误差,并设定阈值进行异常数据判定。然而该专利无法解决目前存在的技术问题,也无法满足本发明的需求。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于多属性图的图神经网络业务流程异常检测方法和系统。
根据本发明提供的基于多属性图的图神经网络业务流程异常检测方法,包括:
步骤1:通过多图生成器将事件日志中的轨迹转换为多张图;
步骤2:将转换后的多张图输入到多图编码器中进行独热编码和位置编码,获得每个节点的隐藏表示;
步骤3:通过多序列解码器将每个节点的隐藏表示解码成概率分布;
步骤4:通过异常得分计算器根据概率分布计算异常分数,并根据阈值将轨迹和属性标记为异常或正常。
优选的,所述步骤1包括:
计算每个直接跟随关系(b,c)的出现次数,表示在事件日志L中活动b被活动c直接跟随;
生成有向全局图G(L),其中包含轨迹中的所有活动作为节点,当且仅当直接跟随关系(b,c)的出现次数不低于β*|L|次时,有向边b←c存在于有向全局图G(L)中,其中β是用户选择的阈值;
对轨迹t生成一个有向事件图G(t),其中包含作为节点的轨迹t的事件,对于有向事件图G(t),若eactivity←e′activity是有向全局图G(L)中的一条边,则有一条边e←e′在有向事件图G(t)中,其中e代表事件,eactivity代表事件中的活动名称;
将有向事件图G(t)调整为有向连通图,若事件e在轨迹t中直接跟随事件e′,则e←e′在有向事件图G(t)中存在;
将有向事件图G(t)作为属性集合中每个属性的单独图进行导出,对于属性集合中的每个属性a,通过将有向事件图G(t)的节点从事件e分别替换为事件e中的属性a,得到多张图。
优选的,所述步骤2包括:
由轨迹t生成的多张图,每个图都包含|t|个节点,其中|t|表示轨迹t的长度,为每个图分配不同的独热编码、位置编码和GAT网络;
利用独热编码将离散的属性值转化为二进制向量,在独热编码之后,图中节点的值被转换为二维向量,其长度是属性a的所有属性值的个数;
将关于事件在轨迹中的相对或绝对位置的信息注入到独热编码中,使用的位置编码如下:
多图编码器输出|t|*A个隐藏表示{h1,h2,…,h|t|*A}和A个多序列解码器中的GRU网络的初始隐藏状态其中|t|是轨迹t的长度,A是属性的数量;是属性a对应的图中第|t|个节点的隐藏表示;h|t|*A是第|t|*A个隐藏表示;是第A个属性对应的多序列解码器中的GRU网络的初始隐藏状态。
优选的,所述步骤3包括:
所有多图编码器的输出{h1,h2,…,h|t|*A}经过缩放点积注意力层,并生成ce输入到GRU网络中,表达式为:
其中,ce表示注意力机制的输出,是向量hi的加权求和;
对于第一个属性,只使用上一时刻的地面真实属性值te-1,1来指导预测当前事件e的属性值的概率分布,表达式为:
其中,是和的连接,被输入GRU中;是te-1,1的嵌入向量;GRU的初始隐藏状态是多图编码器的输出表示第一个属性对应的多序列解码器中的GRU在第e个时间步输出的隐藏表示;表示第一个属性对应的多序列解码器中的注意力机制的输出,是向量hi的加权求和;
优选的,所述步骤4包括:
在每一层的GAT网络和GRU网络之后应用随机失活dropout抵消过度拟合的影响,使用Adam优化器进行训练;
将一个阈值τ作用在属性值的异常分数上,属性值被标记为正常或者异常,属性值的异常分数越高,表示异常的可能性越大。
根据本发明提供的基于多属性图的图神经网络业务流程异常检测系统,包括:
模块M1:通过多图生成器将事件日志中的轨迹转换为多张图;
模块M2:将转换后的多张图输入到多图编码器中进行独热编码和位置编码,获得每个节点的隐藏表示;
模块M3:通过多序列解码器将每个节点的隐藏表示解码成概率分布;
模块M4:通过异常得分计算器根据概率分布计算异常分数,并根据阈值将轨迹和属性标记为异常或正常。
优选的,所述模块M1包括:
计算每个直接跟随关系(b,c)的出现次数,表示在事件日志L中活动b被活动c直接跟随;
生成有向全局图G(L),其中包含轨迹中的所有活动作为节点,当且仅当直接跟随关系(b,c)的出现次数不低于β*|L|次时,有向边b←c存在于有向全局图G(L)中,其中β是用户选择的阈值;
对轨迹t生成一个有向事件图G(t),其中包含作为节点的轨迹t的事件,对于有向事件图G(t),若eactivity←e′activity是有向全局图G(L)中的一条边,则有一条边e←e′在有向事件图G(t)中,其中e代表事件,eactivity代表事件中的活动名称;
将有向事件图G(t)调整为有向连通图,若事件e在轨迹t中直接跟随事件e′,则e←e′在有向事件图G(t)中存在;
将有向事件图G(t)作为属性集合中每个属性的单独图进行导出,对于属性集合中的每个属性a,通过将有向事件图G(t)的节点从事件e分别替换为事件e中的属性a,得到多张图。
优选的,所述模块M2包括:
由轨迹t生成的多张图,每个图都包含|t|个节点,其中|t|表示轨迹t的长度,为每个图分配不同的独热编码、位置编码和GAT网络;
利用独热编码将离散的属性值转化为二进制向量,在独热编码之后,图中节点的值被转换为二维向量,其长度是属性a的所有属性值的个数;
将关于事件在轨迹中的相对或绝对位置的信息注入到独热编码中,使用的位置编码如下:
多图编码器输出|t|*A个隐藏表示{h1,h2,…,h|t|*A}和A个多序列解码器中的GRU网络的初始隐藏状态其中|t|是轨迹t的长度,A是属性的数量;是属性a对应的图中第|t|个节点的隐藏表示;h|t|*A是第|t|*A个隐藏表示;是第A个属性对应的多序列解码器中的GRU网络的初始隐藏状态。
优选的,所述模块M3包括:
所有多图编码器的输出{h1,h2,…,h|t|*A}经过缩放点积注意力层,并生成ce输入到GRU网络中,表达式为:
其中,ce表示注意力机制的输出,是向量hi的加权求和;
对于第一个属性,只使用上一时刻的地面真实属性值te-1,1来指导预测当前事件e的属性值的概率分布,表达式为:
其中,是和的连接,被输入GRU中;是te-1,1的嵌入向量;GRU的初始隐藏状态是多图编码器的输出表示第一个属性对应的多序列解码器中的GRU在第e个时间步输出的隐藏表示;表示第一个属性对应的多序列解码器中的注意力机制的输出,是向量hi的加权求和;
优选的,所述模块M4包括:
在每一层的GAT网络和GRU网络之后应用随机失活dropout抵消过度拟合的影响,使用Adam优化器进行训练;
将一个阈值τ作用在属性值的异常分数上,属性值被标记为正常或者异常,属性值的异常分数越高,表示异常的可能性越大。
与现有技术相比,本发明具有如下的有益效果:
本发明通过将轨迹转换为多张属性图,并利用GAT网络对图的节点进行编码,获得了轨迹中属性的隐藏表示,利用隐藏表示重建轨迹,根据重建误差来计算异常分数的技术手段,解决了业务流程领域中异常检测技术问题,实现了能够自动检测事件日志中的异常轨迹,并指出异常的根本原因的技术效果;与现有方法相比,本发明的方法充分考虑了流程的结构信息,属性和控制流之间的本质关系被很好地捕捉。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明的用于异常检测的GAMA框架示意图;
图2a~图2e为本发明的多图生成器的执行过程;
图3为本发明的GAMA对于某个事件的某个属性输出的概率分布示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1:
本发明提供了一种基于多属性图的图神经网络业务流程异常检测方法,包括:
本发明的待检测的事件日志的特征为:定义属性集合其中表示属性的个数;属性的所有可能值的集合用Va来表示;事件是每个属性的一组可能值,其中va∈Va;轨迹t是一个事件序列,事件日志L则是一个轨迹序列;活动名称是一个特殊的属性,属于属性集事件e的属性a在轨迹t中的值用te,a来表示;事件e的属性a的值用ea表示。
本发明使用GAT网络,GAT是一种基于注意力机制的图神经网络,通过给不同的邻居节点分配不同的权重,GAT可以为每个节点聚合其邻居的特征,使用多头注意力机制来更好地学习节点的隐藏表示。
具体来说,执行K个独立的注意力机制,然后将它们的特征连接起来,形成每个节点的以下输出特征表示:
其中,∥是连接操作;fj代表节点j的初始特征向量;hi代表节点i的新特征向量,σ代表sigmoid激活函数;注意力得分是由第k个注意力机制计算的归一化注意力系数,表示节点j的特征对节点i的重要性;Wk表示在第k个注意力机制中的可学习的矩阵;
本发明使用GRU网络,GRU是一种递归神经网络,GRU可以比LSTM更快地训练,并且广泛应用于与时间序列相关的任务。
ze=σ(Wzxe+Uzse-1+bz) (1)
re=σ(Wrxe+Urse-1+br) (2)
其中,o是一个逐元乘法;tanh是一个非线性的激活函数;se表示在当前时间步e时的隐藏状态;xe是在当前时间步e时的输入;se-1是在前一个时间步e-1时的隐藏状态;s0是初始隐藏状态;表示用于计算se的中间向量;Wz表示一个可学习的矩阵;Uz表示一个可学习的矩阵;bz表示一个可学习的向量;Wr表示一个可学习的矩阵;Ur表示一个可学习的矩阵;br表示一个可学习的向量;U表示一个可学习的矩阵;W表示一个可学习的矩阵;b表示一个可学习的向量;
更新门ze和重置门re,分别由公式(1)和公式(2)计算;更新门ze控制储存在前一个隐藏状态ze-1中的过去信息需要保留多少,而重置门re则决定过去信息中需要丢弃的部分。因此,在执行公式(3)和公式(4)之后,当前隐藏状态se被生成。简化成se=GRU(se-1,xe)来表示公式(1)-(4)。
本发明引入缩放点积注意力机制,缩放点积注意力机制作为多图编码器和多序列解码器之间的桥梁,缩放点积注意机制能够为不同属性值的隐藏表示给予不同的权重,对于多图编码器的输出{h1,h2,…,hE*A}和多序列解码器中GRU层的上一个隐藏状态se-1,能量状态表达式为:
其中,energyei表示能量状态,在事件e处计算的能量状态energyei使用softmax进行归一化,以获得相应的注意力权重αei;注意力权重αei直观地反映了重建期间每个属性值的隐藏表示hi的重要性;注意力权重αei的值越高,表示属性值的隐藏表示hi对于预测下一个属性值越重要;Wq表示一个可学习的矩阵;Wk表示一个可学习的矩阵;d表示向量Wkhi的维度,它是一个常数。
本发明的基于多属性图的图神经网络业务流程异常检测方法和系统如图1所示:
GAMA包括一个多图生成器、一个多图形编码器、一个多序列解码器和一个异常得分计算器。
首先,为了更好地利用结构过程信息,多图形生成器负责将轨迹转换为多张图;接下来,生成的多张图被输入到多图形编码器中,利用独热编码以及位置编码,将节点的属性值转换为向量表示;接下来,借助于GAT来对图进行编码,因为GAT具有良好的网络拓扑结构和节点属性编码能力,可用于图的挖掘,由多图编码器输出的隐藏表示在教师强迫方法的帮助下被多序列解码器解码成概率分布,缩放点积注意力机制是连接编码器和解码器的重要环节;最后,异常得分计算器根据概率分布计算异常分数,并根据阈值,将轨迹或者属性标记为异常或正常。
本发明着眼于检测业务流程中的异常,GAMA是一种无监督的业务流程异常检测方法,不需要任何的数据标签,不需要提供任何的先验知识;GAMA首次将图神经网络应用于业务流程的异常检测,充分考虑了流程的结构信息;首次提出了将一个轨迹转换为多张图的方法,用于获得轨迹中属性值的隐藏表示;包含了三种不同的教师强迫风格来提高模型的收敛速度以及重建正常行为的能力。
GAMA是一个类似于自动编码器的无监督深度学习模型,它由四个基本组成部分组成,如图2a~图2d所示:
i)图形生成器:将一条轨迹转换成多张图,其中每个属性对应一张图;
ii)多图编码器:利用GAT来编码每个属性对应的图,获得每个节点的隐藏表示;
iii)多序列解码器:尝试重建轨迹中每个事件的每个属性的值;
iv)异常得分计算器:计算轨迹中每个事件的每个属性的异常得分;
受教师强迫法的启发,将地面真实轨迹作为多序列解码器中GRU的输入,提出了三种不同的教师强迫风格来指导属性值的重建。
本发明的基于多属性图的图神经网络业务流程异常检测GAMA方法如下:
1.多图生成器
如图2e所示,首先计算每个直接跟随关系(b,c)的出现次数,它描述了在日志L中,活动b被活动c直接跟随;其次,生成一个有向全局图G(L),其中包含轨迹中的所有活动作为节点。当且仅当直接跟随关系(b,c)的出现次数不低于β*|L|次时,有向边b←c存在于有向全局图G(L)中,其中β是用户选择的阈值,用于过滤不频繁的直接跟随关系(即噪声);第三步,对轨迹t生成一个有向事件图G(t),其中包含作为节点的轨迹t的事件。对于有向事件图G(t),如果eactivity←e′activity是有向全局图G(L)中的一条边,那么就有一条边e←e′在有向事件图G(t)中,其中e代表事件,eactivity代表事件中的活动名称;第四,为了保证GAT的工作,将有向事件图G(t)调整为有向连通图,如果事件e在轨迹t中直接跟随事件e′,则e←e′在有向事件图G(t)中存在;最后,有向事件图G(t)可以作为属性集合中每个属性的单独图来导出,对于属性集合中的每个属性a,通过简单地将图G(t)的节点从事件e分别替换为事件e中的属性a,可以得到多张图。
其中,L表示事件日志;e′activity表示事件e′中的活动名称;e′表示事件e′。
2.多图编码器
给出由轨迹t生成的多张图,其中每个图都包含|t|个节点,其中|t|表示轨迹t的长度。为每个图分配不同的独热编码、位置编码和GAT。接下来,以属性a为例,详细介绍这三个部分。
首先,利用独热编码将离散的属性值转化为二进制向量,在独热编码之后,图中节点的值可以被转换为二维向量,其长度是属性a的所有可能的属性值的个数。
为了使GAT能够利用事件的顺序,必须将一些关于事件在轨迹中的相对或绝对位置的信息注入到独热编码中,在这项工作中,使用的位置编码如下:
多图编码器输出|t|*A个隐藏表示{h1,h2,…,h|t|*A}和A个多序列解码器中的GRU的初始隐藏状态其中|t|是轨迹t的长度,A是属性的数量;是属性a对应的图中第|t|个节点的隐藏表示;h|t|*A是第|t|*A个隐藏表示;是第A个属性对应的多序列解码器中的GRU的初始隐藏状态。
3.多序列解码器
首先,所有多图编码器的输出{h1,h2,…,h|t|*A}需要经过缩放点积注意力层,并生成ce输入到GRU中。
其中ce表示注意力机制的输出,它是向量hi的加权求和。
对于第一个属性(默认第一个属性为活动),只使用上一时刻的地面真实属性值(即活动名称)te-1,1来指导预测当前事件e的属性值(即活动名称)的概率分布。
其中是和的连接,它被输入GRU中;是te-1,1的嵌入向量;GRU的初始隐藏状态是多图编码器的输出表示第一个属性对应的多序列解码器中的GRU在第e个时间步输出的隐藏表示;表示第一个属性对应的多序列解码器中的注意力机制的输出,它是向量hi的加权求和。
而对于其他属性a,提出了三种不同的教师强迫风格来指导属性值的重建。
ii)上一个事件相应的属性值(PAV)。我们认为,当前的属性值主要取决于之前的属性值。因此,上一个事件的地面真实属性值te-1,a被用来指导预测当前事件e的属性值a的概率分布。概率分布可以通过以下公式计算:
iii)活动名称与先前属性值的融合(FAP)。我们认为,当前的属性值既取决于当前事件的活动名称,也取决于上一个事件的属性值。因此,当前事件e的地面真实活动名称te,1和上一个事件的地面真实属性值的融合被用来指导预测当前事件e的属性值a的概率分布。概率分布可以通过以下公式计算:
4.异常分数计算器
在训练阶段之后,训练好的模型可以被用来检测业务流程中的异常。将轨迹t输入训练好的模型,得到事件e的属性a的所有可能值的概率分布通常情况下,相比于正常的属性值,异常的属性值的概率要低。基于这一思想,异常分数St,e,a被定义为在概率分布中大于指定属性值te,a的概率的所有概率之和,形式化如下:
将一个阈值τ作用在属性值的异常分数上,属性值被标记为正常或者异常。在我们的方法中,属性值的异常分数越高,它是异常的可能性越大。
5.模型训练
显然,通过结合多图编码器和多序列解码器可以形成一个简单的自动编码器,它完成了编码和重建过程,即把输入轨迹t压缩成低维隐藏表示,然后从隐藏表示中生成轨迹t中每个事件e的每个属性a的概率分布从形式上看,自动编码器的训练过程可以被描述为最小化下列重建误差(即交叉熵损失):
在每一层的GAT和GRU之后应用Dropout以抵消过度拟合的影响。使用Adam优化器进行训练。
实施例2:
本发明还提供一种基于多属性图的图神经网络业务流程异常检测系统,所述基于多属性图的图神经网络业务流程异常检测系统可以通过执行所述基于多属性图的图神经网络业务流程异常检测方法的流程步骤予以实现,即本领域技术人员可以将所述基于多属性图的图神经网络业务流程异常检测方法理解为所述基于多属性图的图神经网络业务流程异常检测系统的优选实施方式。
根据本发明提供的基于多属性图的图神经网络业务流程异常检测系统,包括:模块M1:通过多图生成器将事件日志中的轨迹转换为多张图;模块M2:将转换后的多张图输入到多图编码器中进行独热编码和位置编码,获得每个节点的隐藏表示;模块M3:通过多序列解码器将每个节点的隐藏表示解码成概率分布;模块M4:通过异常得分计算器根据概率分布计算异常分数,并根据阈值将轨迹和属性标记为异常或正常。
所述模块M1包括:
计算每个直接跟随关系(b,c)的出现次数,表示在事件日志L中活动b被活动c直接跟随;
生成有向全局图G(L),其中包含轨迹中的所有活动作为节点,当且仅当直接跟随关系(b,c)的出现次数不低于β*|L|次时,有向边b←c存在于有向全局图G(L)中,其中β是用户选择的阈值;
对轨迹t生成一个有向事件图G(t),其中包含作为节点的轨迹t的事件,对于有向事件图G(t),若eactivity←e′activity是有向全局图G(L)中的一条边,则有一条边e←e′在有向事件图G(t)中,其中e代表事件,eactivity代表事件中的活动名称;
将有向事件图G(t)调整为有向连通图,若事件e在轨迹t中直接跟随事件e′,则e←e′在有向事件图G(t)中存在;
将有向事件图G(t)作为属性集合中每个属性的单独图进行导出,对于属性集合中的每个属性a,通过将有向事件图G(t)的节点从事件e分别替换为事件e中的属性a,得到多张图。
所述模块M2包括:
由轨迹t生成的多张图,每个图都包含|t|个节点,其中|t|表示轨迹t的长度,为每个图分配不同的独热编码、位置编码和GAT网络;
利用独热编码将离散的属性值转化为二进制向量,在独热编码之后,图中节点的值被转换为二维向量,其长度是属性a的所有属性值的个数;
将关于事件在轨迹中的相对或绝对位置的信息注入到独热编码中,使用的位置编码如下:
多图编码器输出|t|*A个隐藏表示{h1,h2,…,h|t|*A}和A个多序列解码器中的GRU网络的初始隐藏状态其中|t|是轨迹t的长度,A是属性的数量;是属性a对应的图中第|t|个节点的隐藏表示;h|t|*A是第|t|*A个隐藏表示;是第A个属性对应的多序列解码器中的GRU网络的初始隐藏状态。
所述模块M3包括:
所有多图编码器的输出{h1,h2,…,h|t|*A}经过缩放点积注意力层,并生成ce输入到GRU网络中,表达式为:
其中,ce表示注意力机制的输出,是向量hi的加权求和;
对于第一个属性,只使用上一时刻的地面真实属性值te-i,1来指导预测当前事件e的属性值的概率分布,表达式为:
其中,是和的连接,被输入GRU中;是te-1,1的嵌入向量;GRU的初始隐藏状态是多图编码器的输出表示第一个属性对应的多序列解码器中的GRU在第e个时间步输出的隐藏表示;表示第一个属性对应的多序列解码器中的注意力机制的输出,是向量hi的加权求和;
所述模块M4包括:
在每一层的GAT网络和GRU网络之后应用随机失活dropout抵消过度拟合的影响,使用Adam优化器进行训练;
将一个阈值τ作用在属性值的异常分数上,属性值被标记为正常或者异常,属性值的异常分数越高,表示异常的可能性越大。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于多属性图的图神经网络业务流程异常检测方法,其特征在于,包括:
步骤1:通过多图生成器将事件日志中的轨迹转换为多张图;
步骤2:将转换后的多张图输入到多图编码器中进行独热编码和位置编码,获得每个节点的隐藏表示;
步骤3:通过多序列解码器将每个节点的隐藏表示解码成概率分布;
步骤4:通过异常得分计算器根据概率分布计算异常分数,并根据阈值将轨迹和属性标记为异常或正常。
2.根据权利要求1所述的基于多属性图的图神经网络业务流程异常检测方法,其特征在于,所述步骤1包括:
计算每个直接跟随关系(b,c)的出现次数,表示在事件日志L中活动b被活动c直接跟随;
生成有向全局图G(L),其中包含轨迹中的所有活动作为节点,当且仅当直接跟随关系(b,c)的出现次数不低于β*|L|次时,有向边b←c存在于有向全局图G(L)中,其中β是用户选择的阈值;
对轨迹t生成一个有向事件图G(t),其中包含作为节点的轨迹t的事件,对于有向事件图G(t),若eactivity←e′activity是有向全局图G(L)中的一条边,则有一条边e←e′在有向事件图G(t)中,其中e代表事件,eactivitu代表事件中的活动名称;
将有向事件图G(t)调整为有向连通图,若事件e在轨迹t中直接跟随事件e′,则e←e′在有向事件图G(t)中存在;
将有向事件图G(t)作为属性集合中每个属性的单独图进行导出,对于属性集合中的每个属性a,通过将有向事件图G(t)的节点从事件e分别替换为事件e中的属性a,得到多张图。
3.根据权利要求1所述的基于多属性图的图神经网络业务流程异常检测方法,其特征在于,所述步骤2包括:
由轨迹t生成的多张图,每个图都包含|t|个节点,其中|t|表示轨迹t的长度,为每个图分配不同的独热编码、位置编码和GAT网络;
利用独热编码将离散的属性值转化为二进制向量,在独热编码之后,图中节点的值被转换为二维向量,其长度是属性a的所有属性值的个数;
将关于事件在轨迹中的相对或绝对位置的信息注入到独热编码中,使用的位置编码如下:
4.根据权利要求1所述的基于多属性图的图神经网络业务流程异常检测方法,其特征在于,所述步骤3包括:
所有多图编码器的输出{h1,h2,…,h|t|*A}经过缩放点积注意力层,并生成ce输入到GRU网络中,表达式为:
其中,ce表示注意力机制的输出,是向量hi的加权求和;
对于第一个属性,只使用上一时刻的地面真实属性值te-i,1来指导预测当前事件e的属性值的概率分布,表达式为:
其中,是和的连接,被输入GRU中;是te-1,1的嵌入向量;GRU的初始隐藏状态是多图编码器的输出 表示第一个属性对应的多序列解码器中的GRU在第e个时间步输出的隐藏表示;表示第一个属性对应的多序列解码器中的注意力机制的输出,是向量hi的加权求和;
5.根据权利要求1所述的基于多属性图的图神经网络业务流程异常检测方法,其特征在于,所述步骤4包括:
在每一层的GAT网络和GRU网络之后应用随机失活dropout抵消过度拟合的影响,使用Adam优化器进行训练;
将一个阈值τ作用在属性值的异常分数上,属性值被标记为正常或者异常,属性值的异常分数越高,表示异常的可能性越大。
6.一种基于多属性图的图神经网络业务流程异常检测系统,其特征在于,包括:
模块M1:通过多图生成器将事件日志中的轨迹转换为多张图;
模块M2:将转换后的多张图输入到多图编码器中进行独热编码和位置编码,获得每个节点的隐藏表示;
模块M3:通过多序列解码器将每个节点的隐藏表示解码成概率分布;
模块M4:通过异常得分计算器根据概率分布计算异常分数,并根据阈值将轨迹和属性标记为异常或正常。
7.根据权利要求6所述的基于多属性图的图神经网络业务流程异常检测系统,其特征在于,所述模块M1包括:
计算每个直接跟随关系(b,c)的出现次数,表示在事件日志L中活动b被活动c直接跟随;
生成有向全局图G(L),其中包含轨迹中的所有活动作为节点,当且仅当直接跟随关系(b,c)的出现次数不低于β*|L|次时,有向边b←c存在于有向全局图G(L)中,其中β是用户选择的阈值;
对轨迹t生成一个有向事件图G(t),其中包含作为节点的轨迹t的事件,对于有向事件图G(t),若eactivity←e′activity是有向全局图G(L)中的一条边,则有一条边e←e′在有向事件图G(t)中,其中e代表事件,eactivity代表事件中的活动名称;
将有向事件图G(t)调整为有向连通图,若事件e在轨迹t中直接跟随事件e′,则e←e′在有向事件图G(t)中存在;
将有向事件图G(t)作为属性集合中每个属性的单独图进行导出,对于属性集合中的每个属性a,通过将有向事件图G(t)的节点从事件e分别替换为事件e中的属性a,得到多张图。
8.根据权利要求6所述的基于多属性图的图神经网络业务流程异常检测系统,其特征在于,所述模块M2包括:
由轨迹t生成的多张图,每个图都包含|t|个节点,其中|t|表示轨迹t的长度,为每个图分配不同的独热编码、位置编码和GAT网络;
利用独热编码将离散的属性值转化为二进制向量,在独热编码之后,图中节点的值被转换为二维向量,其长度是属性a的所有属性值的个数;
将关于事件在轨迹中的相对或绝对位置的信息注入到独热编码中,使用的位置编码如下:
9.根据权利要求6所述的基于多属性图的图神经网络业务流程异常检测系统,其特征在于,所述模块M3包括:
所有多图编码器的输出{h1,h2,…,h|t|*A}经过缩放点积注意力层,并生成ce输入到GRU网络中,表达式为:
其中,ce表示注意力机制的输出,是向量hi的加权求和;
对于第一个属性,只使用上一时刻的地面真实属性值te-1,1来指导预测当前事件e的属性值的概率分布,表达式为:
其中,是和的连接,被输入GRU中;是te-1,1的嵌入向量;GRU的初始隐藏状态是多图编码器的输出 表示第一个属性对应的多序列解码器中的GRU在第e个时间步输出的隐藏表示;表示第一个属性对应的多序列解码器中的注意力机制的输出,是向量hi的加权求和;
10.根据权利要求6所述的基于多属性图的图神经网络业务流程异常检测系统,其特征在于,所述模块M4包括:
在每一层的GAT网络和GRU网络之后应用随机失活dropout抵消过度拟合的影响,使用Adam优化器进行训练;
将一个阈值τ作用在属性值的异常分数上,属性值被标记为正常或者异常,属性值的异常分数越高,表示异常的可能性越大。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310239298.0A CN116127325A (zh) | 2023-03-13 | 2023-03-13 | 基于多属性图的图神经网络业务流程异常检测方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310239298.0A CN116127325A (zh) | 2023-03-13 | 2023-03-13 | 基于多属性图的图神经网络业务流程异常检测方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116127325A true CN116127325A (zh) | 2023-05-16 |
Family
ID=86308300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310239298.0A Pending CN116127325A (zh) | 2023-03-13 | 2023-03-13 | 基于多属性图的图神经网络业务流程异常检测方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116127325A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117201446A (zh) * | 2023-11-07 | 2023-12-08 | 南昌大学 | 结合语义和行为的神经网络的垃圾邮件检测方法及系统 |
-
2023
- 2023-03-13 CN CN202310239298.0A patent/CN116127325A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117201446A (zh) * | 2023-11-07 | 2023-12-08 | 南昌大学 | 结合语义和行为的神经网络的垃圾邮件检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Geiger et al. | Tadgan: Time series anomaly detection using generative adversarial networks | |
CA3061745A1 (en) | System and method for generative model for stochastic point processes | |
US20210103822A1 (en) | Generative structure-property inverse computational co-design of materials | |
Zhang et al. | Self-supervised learning for time series analysis: Taxonomy, progress, and prospects | |
CN111709754B (zh) | 一种用户行为特征提取方法、装置、设备及系统 | |
CN111488582A (zh) | 一种基于图神经网络的智能合约重入性漏洞检测的方法 | |
CN116760742B (zh) | 基于多阶段混合时空融合的网络流量异常检测方法及系统 | |
CN111931549B (zh) | 一种基于多任务非自回归解码的人体骨架的动作预测方法 | |
CN111652357A (zh) | 一种利用基于图的特定目标网络解决视频问答问题的方法及其系统 | |
CN111541900B (zh) | 基于gan的安防视频压缩方法、装置、设备及存储介质 | |
CN110956309A (zh) | 基于crf和lstm的流程活动预测方法 | |
CN116127325A (zh) | 基于多属性图的图神经网络业务流程异常检测方法和系统 | |
CN115168443A (zh) | 一种基于gcn-lstm和注意力机制的异常检测方法及系统 | |
Medel | Anomaly detection using predictive convolutional long short-term memory units | |
Gao et al. | Applying MDL to learn best model granularity | |
Le et al. | GCRINT: network traffic imputation using graph convolutional recurrent neural network | |
CN114548241A (zh) | 被盗账户检测方法、装置、电子设备 | |
CN116402352A (zh) | 一种企业风险预测方法、装置、电子设备及介质 | |
CN115688871A (zh) | 基于预训练增强的多元时间序列预测方法及系统 | |
CN116028315A (zh) | 作业运行预警方法、装置、介质及电子设备 | |
CN116227562A (zh) | 基于图神经网络与Transformer的时序点过程预测方法及系统 | |
Qiu et al. | A-SFS: Semi-supervised feature selection based on multi-task self-supervision | |
Xu et al. | Human motion prediction via pattern completion in latent representation space | |
CN116306780B (zh) | 一种动态图链接生成方法 | |
CN113255750A (zh) | 一种基于深度学习的vcc车辆攻击检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |