CN112508265A - 面向业务流程管理的时间与活动多任务预测方法及系统 - Google Patents
面向业务流程管理的时间与活动多任务预测方法及系统 Download PDFInfo
- Publication number
- CN112508265A CN112508265A CN202011400743.XA CN202011400743A CN112508265A CN 112508265 A CN112508265 A CN 112508265A CN 202011400743 A CN202011400743 A CN 202011400743A CN 112508265 A CN112508265 A CN 112508265A
- Authority
- CN
- China
- Prior art keywords
- activity
- prediction
- time
- event
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 125
- 238000000034 method Methods 0.000 title claims abstract description 89
- 230000008569 process Effects 0.000 title claims description 48
- 239000013598 vector Substances 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims description 32
- 238000012360 testing method Methods 0.000 claims description 21
- 238000012795 verification Methods 0.000 claims description 12
- 238000004806 packaging method and process Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 8
- 238000013528 artificial neural network Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 10
- 238000011160 research Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000004913 activation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种面向业务流程管理的时间与活动多任务预测的方法及系统,将业务流程管理与深度神经网络结合,提出了Self‑Att‑BiLSTM业务流程活动与时间多任务预测,将事件轨迹转化为特征编码作为输入,通过嵌入层将高维稀疏特征转化为低维稠密并且有相互关系的向量,利用双向对事件日志进行时序信息建模,使用注意力机制捕获事件日志中长距离的相互依赖的特征并且动态的调整事件日志中重复活动的隐藏状态的重要性,通过网络共享层后分别进行全连接层和Softmax分类器进行活动预测和全连接层时间预测。预测模型不仅可以同时提升时间与活动多任务的预测精度,对于重复活动任务预测精度提升效果更为明显。本发明利用注意力机制与BiLSTM相结合,提高重复活动任务预测精度。
Description
技术领域
本发明涉及业务流程管理技术领域,尤其涉及一种面向业务流程管理的时间与活动多任务预测的方法及系统。
背景技术
预测性业务流程监控(predictive process monitoring)是流程挖掘(processmining)的一个研究热点,预测性业务流程监控可以识别出流程运行中不符合某些标准的异常事件,及时的做出相应措施。对于业务流程中的活动和时间多任务预测,不仅可以准确、高效的提高企业服务效率、降低运行成本,预防违规活动发生以及提前发现异常案例等,而且可以人为的规划和分配资源,达到更高的效率和实现更好的服务目标。目前预测的范畴主要包括:预测流程未来活动,预测流程结果,预测时间相关属性,以及预测业务流程执行结束后的性能等。关于业务流程预测已有的成果所使用的方法包括,使用转换系统(TS)来预测剩余时间,概率有限自动机(PFA)预测未来活动,马尔科夫链方法预测未来活动,以及基于传统的机器学习方法包括决策树、随机森林预测流程结果等。
近年来,由于在深度学习方面的研究的不断深入,基于深度网络的提取特征方法逐渐取代了人工提取特征的过程。对于事件日志这样的大量样本数据,通过使用深度神经网络学习事件日志中的内在特征和表示层次,可以容易地预测业务流程中相关任务。
然后,对于现阶段的研究,一方面现有的使用深度学习方法在业务流程预测绝大多数使用单一的信息来进行预测,由于这些预测方法都是对某个任务定制的,可迁移性不高,这些方法并且没有考虑事件日志中属性之间的相互关联关系,所以不同的预测任务需要构建不同的模型。另一方面,活动和时间方面的精度均不高,并且它仅仅解决了非重复活动的预测。
发明内容
为了进行重复活动和时间的多任务预测,本发明提供一种面向业务流程管理的时间与活动多任务预测的方法及系统,采用多任务学习(Multitask Learning)框架来进行业务流程活动和时间预测,通过网络共享层表示的方法,把活动和时间这两个任务放在一起进行学习。使用来自活动和时间这些任务的样本来优化所有网络参数,同时提升多任务的性能。通过共享相关任务之间的表示,可以使模型更好地泛化学习任务,使得每一个任务的预测效果都有提升。
为达到上述目的,本发明提供了一种面向业务流程管理的时间与活动多任务预测系统,包括特征提取模块与预测模块;
所述特征提取模块由事件日志中提取事件轨迹生成表征事件属性的特征向量,所述事件属性包括活动时间间隔,活动距离设定时刻的时间间隔和活动开始执行的星期信息;
所述预测模块基于所述特征向量预测发生的事件及对应的发生时间;所述预测模块基于BiLSTM建模并训练获得。
进一步地,每条事件轨迹包含若干样本,每个特征向量包含多个样本的特征,所述特征表征事件属性和事件属性个数。进一步地,所述特征向量非数值型属性采用one-hot编码。
进一步地,所述预测模块包括输入层、嵌入(Embedding)层、BiLSTM层、自注意力(Self-Attention)层以及多任务输出层;
所述输入层将所述特征向量的高维稀疏的特征映射到所述嵌入(Embedding)层的低维稠密向量,所述BiLSTM层采用LSTM的细胞单元分别捕捉所述低维稠密向量过去和未来的信息状态,连接后构成向量最后的状态输出;所述自注意力(Self-Attention)层捕捉各个特征的全局依赖和局部依赖,调整权重系数;所述多任务输出层采用分类器进行活动预测,输出预测发生的事件,采用回归算法预测时间发生的时间间隔,与事件前一次发生时间叠加输出预测发生的事件对应的发生时间。
进一步地,所述预测模块通过训练获得,采用样本形成训练样本集、验证集以及测试集;从所述训练样本集中选取样本训练所述预测模块设定轮次,采用验证集中的样本进行验证,验证事件预测精度和时间间隔预测精度满足要求后,采用测试集中的样本进行测试,测试事件预测精度和时间间隔预测精度满足要求后封装所述预测模块。
进一步地,活动预测精度Acc表征为:
其中tp、tn、fp和fn分别代表真正例,真负例,假正例,假负例;
时间间隔预测精度采用平均绝对误差MAE表征。
进一步地,所述样本来自Helpdesk数据集和/或BPI12数据集。
本发明另一方面提供一种面向业务流程管理的时间与活动多任务预测方法,包括:
基于BiLSTM构建预测模块并训练封装;
由事件日志中提取事件轨迹生成表征事件属性的特征向量,所述事件属性包括活动时间间隔,活动距离设定时刻的时间间隔和活动开始执行的星期信息;
采用所述预测模块基于所述特征向量预测发生的事件及对应的发生时间。
进一步地,所述预测模块包括输入层、嵌入(Embedding)层、BiLSTM层、自注意力(Self-Attention)层以及多任务输出层;
所述输入层将所述特征向量的高维稀疏的特征映射到所述嵌入(Embedding)层的低维稠密向量,所述BiLSTM层采用LSTM的细胞单元分别捕捉所述低维稠密向量过去和未来的信息状态,连接后构成向量最后的状态输出;所述自注意力(Self-Attention)层捕捉各个特征的全局依赖和局部依赖,调整权重系数;所述多任务输出层采用分类器进行活动预测,输出预测发生的事件,采用回归算法预测时间发生的时间间隔,与事件前一次发生时间叠加输出预测发生的事件对应的发生时间。
进一步地,训练包括:采用样本形成训练样本集、验证集以及测试集;从所述训练样本集中选取样本训练所述预测模块设定轮次,采用验证集中的样本进行验证,验证事件预测精度和时间间隔预测精度满足要求后,采用测试集中的样本进行测试,测试事件预测精度和时间间隔预测精度满足要求后封装所述预测模块。进一步地,所述样本来自Helpdesk数据集和/或BPI12数据集。
进一步地,活动预测精度Acc表征为:
其中tp、tn、fp和fn分别代表真正例,真负例,假正例,假负例;
时间间隔预测精度采用平均绝对误差MAE表征。
本发明的上述技术方案具有如下有益的技术效果:
(1)本发明将业务流程管理与深度神经网络结合,提出了Self-Att-BiLSTM业务流程活动与时间多任务预测,将事件轨迹转化为特征编码作为输入,通过嵌入层(Embedding)将高维稀疏特征转化为低维稠密并且有相互关系的向量,利用双向LSTM(BiLSTM)对事件日志进行时序信息建模,使用注意力机制(Self-Attention)捕获事件日志中长距离的相互依赖的特征并且动态的调整事件日志中重复活动的隐藏状态的重要性,通过网络共享层后分别进行全连接层和Softmax分类器进行活动预测和全连接层时间预测。模型不仅可以同时提升时间与活动多任务的预测精度,而且对于重复活动任务预测精度提升效果更为明显。
(2)本发明利用自注意力机制(Self-Attention)与BiLSTM相结合,对BiLSTM忽略的长距离特征之间的关系进行捕获,调整权重值,更新内部特征之间的关联性,充分考虑每个时间戳的上下文信息,增强影响预测重复活动特征,提高重复活动任务预测精度。
附图说明
图1:基于Self_Att_BiLSTM多任务预测网络模型图;
图2:将one-hot编码转换为embeddings向量;
图3:LSTM单元结构;
图4:不同数据集中重复活动预测精度对比;
图5:不同数据集上模型训练loss图,其中(a)为数据集BPI12;(b)为数据集BPI12-O;(c)为数据集BPI12-A;(d)为数据集BPI12-W;(e)为Helpdesk数据集;
图6为多任务预测流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
为了进行重复活动和时间的多任务预测,采用多任务学习(Multitask Learning)框架来进行业务流程活动和时间预测,通过网络共享层表示的方法,把活动和时间这两个任务放在一起进行学习。使用来自活动和时间这些任务的样本来优化所有网络参数,同时提升多任务的性能。通过共享相关任务之间的表示,可以使模型更好地泛化学习任务,使得每一个任务的预测效果都有提升。
面向业务流程管理的时间与活动多任务预测系统包括特征提取模块与预测模块。
1、特征提取模块
特征提取模块用于由事件日志中提取事件轨迹生成表征事件属性的特征向量。
事件日志需要将包含的属性处理为特征向量才能用于预测模型中,事件日志为L={σ1,σ2,σ3,...,σn},σi表示第i条事件轨迹,其中σi=<et1,et2,et3,...,etn>(n=|σi|),将L每条事件轨迹构建为特征向量x=[x1,x2,x3,...,xp],p个特征向量代表p个样本,其中每一个样本的特征向量xi是一个二维向量,第一个维度表示事件轨迹的时刻信息,第二个维度表示事件属性属性个数,事件属性包括两部分,一部分为数值型属性,一部分为非数值型属性,数值型的特征可以根据事件日志L中该属性的所有可能值的范围对属性值进行规范化,非数值型的采用one-hot编码形式,利用one-hot编码可以将1即代表该位置上活动为true,其他位置均为0,对于时间预测采用活动时间间隔,为特征向量x添加了三个基于时间的特征,活动时间间隔,活动距离午夜的时间间隔,和活动开始执行的星期信息,由于向模型中添加后面两个辅助特征,模型可以在训练过程中可以获得更多与业务流程中与活动时间相关的特殊信息。
2、预测模块
预测模块基于所述特征向量预测发生的事件及对应的发生时间。预测模块基于BiLSTM建模并训练获得。
如图1所示为活动和时间的多任务预测网络模型框架,主要包含输入层、Embedding层、BiLSTM层、Self-Attention层以及多任务输出层。
输入层将特征向量输入到Embedding层,如图2所示,通过线性映射将高维稀疏的特征变为低维稠密向量e=[e1,e2,e3,...,et],et∈Rd其中d表示将事件中所有属性编码的维数。使用Embedding层是因为one-hot编码的向量高维并且是稀疏的,并且one-hot编码的存在的问题是它不依赖任何内在的联系进行转换,而使用Embedding层在训练神经网络的过程中,每个embeddings向量都会得到更新,训练过程中会探索多维空间中不同向量之间的相似性。
BiLSTM是由一个前向传播和一个后向传播的LSTM组成,LSTM对长期依赖关系具有强大建模功能。在事件日志中,为了得到更好的预测模型,需要同时考虑上下文。使用BiLSTM隐藏状态捕捉过去和未来的信息状态,并将这些信息连接起来构成最后的状态输出。
其LSTM的细胞单元如图3所示。LSTM通过当前输入的et和之前的隐藏状态ht-1来更新一个隐藏状态ht,it为输入门是有选择性的保留输入的信息,并对细胞状态进行更新;gt为遗忘门是有选择性的遗忘冗余信息;ot为输出门是决定输出细胞状态的哪些部分,具体表达如下:
it=sigmoid(wi*[ht-1,et]+bi), (1)
gt=sigmoid(wg*[ht-1,et]+bg), (2)
c't=tanh(wc*[ht-1,et]+bc), (3)
ct=gt*ct-1+it*c't, (4)
ot=sigmoid(wo*[ht-1,et]+bo), (5)
ht=ot*tanh(ct), (6)
其中,w为上一个向量的输出与当前特征向量的输入经过控制门的权重,b通过控制门的偏置,sigmoid、tanh为激活函数,BiLSTM网络通过引入隐藏的连接以相反的时间顺序流动扩展了单向LSTM网络。通过同时前向传播的来获得输出状态和后向传播获得输出状态来更新当前的状态ht。与传统的单项LSTM相比,BiLSTM可以同时学习过去和将来的信息,从而获得更加稳健的特征信息。
添加Self-Attention层可以增强影响预测重复活动特征,通过使用注意机制来构造预测模型,注意力机制考虑每个输入元素不同的权重系数,来更加注重与其输入元素相关的内容,并且忽略一些其他无关的信息。其最大的优点就是能一步到位的捕捉全局依赖和局部依赖,引入Self-Attention后会更容易捕获事件日志中长距离的相互依赖的特征并且动态的调整事件日志中重复活动的隐藏状态的重要性,它很少依赖外部的信息,更加善于捕获事件中内部特征的关联性。对于循环神经网络LSTM是按照时间序列进行计算,如有依赖关系的特征距离较远,要进行多个时间步才能将两者的信息联系起来,则两者距离越远,捕捉到的依赖性越差,并且LSTM隐藏状态中每个特征都重要。Self-Attention在计算过程当中会直接将事件轨迹中任意两个活动的依赖经过计算步骤(10)进行关联,这样既可以对出现的重复活动进行连接,并且距离较远的特征关系被很大程度缩短,还高效地使用相关特征。该方法更适用于处理顺序数据的注意机制,可以充分考虑每个时间戳的上下文信息。将BiLSTM层输出的向量组成的矩阵[h1,h2,h3,...,ht]输入到Self-Attention层中,其中t为输入事件日志的长度。引入自注意矩阵A来捕获任何特征相对于所有邻居的相似性。Self-Attention的实现类似LSTM的细胞结构,具体如下:
gt,t'=tanh(wght+wg'ht'+bg), (10)
at,t'=sigmoid(wagt,t'+ba), (11)
at,t'∈A表示在时间戳为t和t'时通过隐藏状态ht和ht'之间获得相似性矩阵,wg和wg'分别对应隐藏状态ht和ht'得权重矩阵,wa是它们的非线性组合对应的权重矩阵,ba和bg为偏置向量。lt表示在t时刻得注意力隐藏状态是由在时间为t'所有其他隐藏状态ht'和相似性矩阵at,t'加权求和得到得。
通过多任务学习共享表示既可以防止过拟合,又能够学习更好的特征表达来提高泛化能力。在多任务输出层主要有两个任务,一是预测活动,二是预测时间,将预测活动任务转化为一个多分类任务,将预测时间转化为一个回归任务,对于预测活动使用Softmax分类器输出活动预测值,使用交叉熵(Categorical Cross_Entropy)损失函数如下:
其中x表示输入的事件轨迹,c为待分类的活动总数,yi为第i个类别对应的真实标签,fi(x)为对应的模型输出值。对于时间预测,使用的损失函数为平均绝对误差(meanabsolute error,MAE),是预测时间结果与预期产出之间的平均绝对差,在神经网络进行前向传播阶段,依次调用每个层的前向函数,得到逐层的输出,最后一层与目标函数比较得到损失函数,通过计算误差来更新权值,通过反向传播到达网络第一层,在反向传播结束时网络的权值将一起更新,如果得到损失值越小,模型的预测结果就越接近真实情况,神经网络模型的准确性也就越好,采用Relu激活函数来进行时间预测,其表达式如下。
Relu(x)=max(0,x), (14)
使用Relu激活函数可以使网络训练更快,因为时间预测是非线性的,使用Relu激活函数增加网络的非线性,还可以防止梯度消失,并且减少过拟合风险。
3、训练
训练均使用Python3.6实现,采用Keras框架搭建神经网络预测模型,Keras是一个深度学习的框架,有许多模块包,方便模型构建验证模型的准确性以及精度。运行环境为Windows10,Intel Core i5 CPU,2.6GHz,8G RAM,表1为训练的参数设置。
表1实验参数
训练中采用了两个数据集,一个为Helpdesk数据集,另一个为BPI12数据集,这两个数据集均为真实流程数据。
Helpdesk数据集:此事件日志包含来自意大利软件公司帮助台的票务管理流程。这个流程由9个活动组成,所有的情况都是从在票务管理系统中插入一张新票开始的。每个案例在问题解决和票据关闭时结束。这个事件日志包含了大约3804个案例和13710个事件。
BPI12数据集:此事件日志源于业务流程智能挑战(BPI12),包含某大型金融机构业务流程的真实流程数据。事件日志描述的是全球金融组织中申请个人贷款或透支的流程。这个流程包含三个子流程:一是记录应用程序的状态,二是记录与应用程序相关的工作项的状态,三是记录反馈用户的状态。该日志总共包括262200事件和13087个案例。为了使预测更加准确,将事件日志中生命周期完整的记录筛选出来。
同时进行活动和时间的多任务预测,对于活动的预测任务是一个分类问题,通常使用分类算法度量指标精度,对于精度指标既适用于二分类任务,同时适用于多分类问题。简单来说,精度则是分类正确的样本数占样本总数的比例。精度的表达式如下(15),其中tp、tn、fp和fn分别代表真正例,真负例,假正例,假负例。
时间预测任务是一个回归问题,采用平均绝对误差MAE进行评估,MAE可以用于误差相互抵消的情况,因而可以准确反映实际预测误差的大小。其基本的表达形式如式(16)所示,MAE作为误差度量,越低越好。选择比较MAE是因为活动之间的时间差往往是高度变化的,其值有不同的数量级。因为RMSE对数据点上异常值的错误非常敏感,而如果两个活动之间的时间间隔会非常大,RMSE会认为是异常值,所以采用MAE进行时间预测评估。
3、结果与分析
在两个数据集上评估预测活动和时间的多任务学习性能,将数据集中75%的事件日志作为训练集,在训练集中分出10%的数据作为验证集,将25%的事件日志进行测试。表2显示了使用本发明的多任务预测深度网络框架在Helpdesk数据集、BPI12事件日志以及三个子流程在预测活动的准确性(Acc)、预测时间方面的MAE。分别采用不同长度的事件轨迹,通过取平均值进行多任务预测,将本发明Self-Att-BiLSTM输出结果跟使用LSTM的单任务研究和基于概率有限机的单个预测活动做了对比。并且在每个数据集中筛选出含有重复活动的事件轨迹单独在基于LSTM的多任务研究方法与本发明的方法进行对比测试,如图4所示为两种方法对重复活动预测精度对比,在不同数据集上对重复活动预测均比LSTM的单任务研究精度有明显提高,虽然对重复活动预测不高,但与LSTM的多任务研究等方法相比已有显著提高,在BPI12_O数据集上提高最为明显25.5%,只有在BPI12_W数据集上略显不足,原因在于BPI12_W为人为手工执行事件存在多变因素,使得模型没有学习到明显特征,实验结果表明在重复活动预测方面的方法是可行的。
结合图5通过在不同数据集上的训练结果可以看出,我们的方法在损失值和验证值之间拟合效果的很好,说明该方法适用于业务流程的多任务预测。
在活动精度(Acc)方面通过表2得出,不同数据集上实验方法的活动精度均比LSTM的单任务方法更高,尤其是在Helpdesk数据集上更为明显,本文在活动预测精度(Acc)提高9.9%,在BPI12_W活动精度(Acc)提高了2.21%,因为BPI12_W的流程为人工手动执行事件且流程执行顺序比较复杂,所以本文的方法在活动精度方面提高不明显。在BPI12数据集活动精度(Acc)略比三个子流程的活动精度平均值高约0.18%。
表2 Self-Att-BiLSTM多任务预测与LSTM的单任务研究以及概率有限机单任务实验对比
在时间MAE方面的对比,通过对比表2的时间MAE,本文的方法均比Tax的时间上MAE小,在Helpdesk数据集上MAE降低了1.7,在BPI12_W上时间MAE仅仅降低0.11,在数据集BPI12比三个子流程的时间MAE平均值低0.21,从表2中BPI12以及三个子流程的活动精度(Acc)和时间MAE可以看出数据集完整度很大程度决定预测的准确度,但是在BPI12_O中时间MAE表现较差原因是时间数据间隔多变,导致预测时间MAE高。图4为不同数据集的多任务模型训练loss图,得出对于(d)中BPI12_W在loss图中有些过拟合,导致预测活动精度不高。
在多任务与概率有限机单任务等单个预测活动任务方面对比,本文在活动预测方面均比Breuker预测结果高,其中从表2对比看出,本文方法在BPI12_W活动提高精度为6.31%,通过与单任务对比发现,本发明进行的活动和时间的多任务预测,可以同时提升两个的预测结果,使模型具有更好的泛化能力,可以更好的迁移到其他任务的预测。
本发明另一方面提供一种面向业务流程管理的时间与活动多任务预测系统,结合图6,包括如下步骤:
(1)基于BiLSTM构建预测模块并训练封装。
预测模块包括输入层、嵌入(Embedding)层、BiLSTM层、自注意力(Self-Attention)层以及多任务输出层;所述输入层将所述特征向量的高维稀疏的特征映射到所述嵌入(Embedding)层的低维稠密向量,所述BiLSTM层采用LSTM的细胞单元分别捕捉所述低维稠密向量过去和未来的信息状态,连接后构成向量最后的状态输出;所述自注意力(Self-Attention)层捕捉各个特征的全局依赖和局部依赖,调整权重系数;所述多任务输出层采用分类器进行活动预测,输出预测发生的事件,采用回归算法预测时间发生的时间间隔,与事件前一次发生时间叠加输出预测发生的事件对应的发生时间。
采用样本形成训练样本集、验证集以及测试集;从所述训练样本集中选取样本训练所述预测模块设定轮次,采用验证集中的样本进行验证,验证事件预测精度和时间间隔预测精度满足要求后,采用测试集中的样本进行测试,测试事件预测精度和时间间隔预测精度满足要求后封装所述预测模块。进一步地,所述样本来自Helpdesk数据集和/或BPI12数据集。
(2)由事件日志中提取事件轨迹生成表征事件属性的特征向量,所述事件属性包括活动时间间隔,活动距离午夜的时间间隔和活动开始执行的星期信息;
(3)采用所述预测模块基于所述特征向量预测发生的事件及对应的发生时间。
在一个实施例中,预测模型用于预测用户的下一步活动。例如用户进行注册、登录、退出、取消等操作后,下一步的操作类型和操作时间的预测。
在又一实施例中,基于预测结果,可以进行流程监控,以及提供决策支持。例如在办理信贷业务时,通过预测申请人的信用分数,来决定是否批准发放信用卡。
综上所述,本发明涉及一种面向业务流程管理的时间与活动多任务预测的方法及系统,将业务流程管理与深度神经网络结合,提出了Self-Att-BiLSTM业务流程活动与时间多任务预测,将事件轨迹转化为特征编码作为输入,通过嵌入层将高维稀疏特征转化为低维稠密并且有相互关系的向量,利用双向对事件日志进行时序信息建模,使用注意力机制捕获事件日志中长距离的相互依赖的特征并且动态的调整事件日志中重复活动的隐藏状态的重要性,通过网络共享层后分别进行全连接层和Softmax分类器进行活动预测和全连接层时间预测。预测模型不仅可以同时提升时间与活动多任务的预测精度,对于重复活动任务预测精度提升效果更为明显。本发明利用注意力机制与BiLSTM相结合,提高重复活动任务预测精度。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (10)
1.一种面向业务流程管理的时间与活动多任务预测系统,其特征在于,包括特征提取模块与预测模块;
所述特征提取模块由事件日志中提取事件轨迹生成表征事件属性的特征向量,所述事件属性包括活动时间间隔,活动距离设定时刻的时间间隔和活动开始执行的星期信息;
所述预测模块基于所述特征向量预测发生的事件及对应的发生时间;所述预测模块基于BiLSTM建模并训练获得。
2.根据权利要求1所述的面向业务流程管理的时间与活动多任务预测系统,其特征在于,每条事件轨迹包含若干样本,每个特征向量包含多个样本的特征,所述特征表征事件属性和事件属性个数。进一步地,所述特征向量非数值型属性采用one-hot编码。
3.根据权利要求2所述的面向业务流程管理的时间与活动多任务预测系统,其特征在于,所述预测模块包括输入层、嵌入(Embedding)层、BiLSTM层、自注意力(Self-Attention)层以及多任务输出层;
所述输入层将所述特征向量的高维稀疏的特征映射到所述嵌入(Embedding)层的低维稠密向量,所述BiLSTM层采用LSTM的细胞单元分别捕捉所述低维稠密向量过去和未来的信息状态,连接后构成向量最后的状态输出;所述自注意力(Self-Attention)层捕捉各个特征的全局依赖和局部依赖,调整权重系数;所述多任务输出层采用分类器进行活动预测,输出预测发生的事件,采用回归算法预测时间发生的时间间隔,与事件前一次发生时间叠加输出预测发生的事件对应的发生时间。
4.根据权利要求3所述的面向业务流程管理的时间与活动多任务预测系统,其特征在于,所述预测模块通过训练获得,采用样本形成训练样本集、验证集以及测试集;从所述训练样本集中选取样本训练所述预测模块设定轮次,采用验证集中的样本进行验证,验证事件预测精度和时间间隔预测精度满足要求后,采用测试集中的样本进行测试,测试事件预测精度和时间间隔预测精度满足要求后封装所述预测模块。
6.根据权利要求4所述的面向业务流程管理的时间与活动多任务预测系统,其特征在于,所述样本来自Helpdesk数据集和/或BPI12数据集。
7.一种面向业务流程管理的时间与活动多任务预测方法,其特征在于,包括:
基于BiLSTM构建预测模块并训练封装;
由事件日志中提取事件轨迹生成表征事件属性的特征向量,所述事件属性包括活动时间间隔,活动距离设定时刻的时间间隔和活动开始执行的星期信息;
采用所述预测模块基于所述特征向量预测发生的事件及对应的发生时间。
8.根据权利要求7所述的面向业务流程管理的时间与活动多任务预测方法,其特征在于,所述预测模块包括输入层、嵌入(Embedding)层、BiLSTM层、自注意力(Self-Attention)层以及多任务输出层;
所述输入层将所述特征向量的高维稀疏的特征映射到所述嵌入(Embedding)层的低维稠密向量,所述BiLSTM层采用LSTM的细胞单元分别捕捉所述低维稠密向量过去和未来的信息状态,连接后构成向量最后的状态输出;所述自注意力(Self-Attention)层捕捉各个特征的全局依赖和局部依赖,调整权重系数;所述多任务输出层采用分类器进行活动预测,输出预测发生的事件,采用回归算法预测时间发生的时间间隔,与事件前一次发生时间叠加输出预测发生的事件对应的发生时间。
9.根据权利要求7或8所述的面向业务流程管理的时间与活动多任务预测方法,其特征在于,训练包括:采用样本形成训练样本集、验证集以及测试集;从所述训练样本集中选取样本训练所述预测模块设定轮次,采用验证集中的样本进行验证,验证事件预测精度和时间间隔预测精度满足要求后,采用测试集中的样本进行测试,测试事件预测精度和时间间隔预测精度满足要求后封装所述预测模块。进一步地,所述样本来自Helpdesk数据集和/或BPI12数据集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011400743.XA CN112508265A (zh) | 2020-12-02 | 2020-12-02 | 面向业务流程管理的时间与活动多任务预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011400743.XA CN112508265A (zh) | 2020-12-02 | 2020-12-02 | 面向业务流程管理的时间与活动多任务预测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112508265A true CN112508265A (zh) | 2021-03-16 |
Family
ID=74969842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011400743.XA Pending CN112508265A (zh) | 2020-12-02 | 2020-12-02 | 面向业务流程管理的时间与活动多任务预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112508265A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113470217A (zh) * | 2021-07-13 | 2021-10-01 | 合肥工业大学 | 一种基于单目摄像机的车辆轨迹提取与分析系统 |
CN113704319A (zh) * | 2021-07-29 | 2021-11-26 | 南京邮电大学 | 一种结合情景信息的移动终端业务预测方法 |
CN114757432A (zh) * | 2022-04-27 | 2022-07-15 | 浙江传媒学院 | 基于流程日志和多任务学习的未来执行活动及时间预测方法及系统 |
CN115049108A (zh) * | 2022-05-20 | 2022-09-13 | 支付宝(杭州)信息技术有限公司 | 多任务模型训练方法、多任务预测方法、相关装置及介质 |
CN116049757A (zh) * | 2023-04-03 | 2023-05-02 | 湖南工商大学 | 基于概念漂移的流程异常行为检测方法 |
CN116822920A (zh) * | 2023-05-23 | 2023-09-29 | 北京杰成合力科技有限公司 | 一种基于循环神经网络的流程预测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108549981A (zh) * | 2018-03-30 | 2018-09-18 | 安徽大学 | 一种提高大批量并行业务流程服务质量的方法 |
US20190251431A1 (en) * | 2018-02-09 | 2019-08-15 | Salesforce.Com, Inc. | Multitask Learning As Question Answering |
CN110956309A (zh) * | 2019-10-30 | 2020-04-03 | 南京大学 | 基于crf和lstm的流程活动预测方法 |
US20200321002A1 (en) * | 2019-04-05 | 2020-10-08 | Samsung Electronics Co., Ltd. | System and method for context-enriched attentive memory network with global and local encoding for dialogue breakdown detection |
-
2020
- 2020-12-02 CN CN202011400743.XA patent/CN112508265A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190251431A1 (en) * | 2018-02-09 | 2019-08-15 | Salesforce.Com, Inc. | Multitask Learning As Question Answering |
CN108549981A (zh) * | 2018-03-30 | 2018-09-18 | 安徽大学 | 一种提高大批量并行业务流程服务质量的方法 |
US20200321002A1 (en) * | 2019-04-05 | 2020-10-08 | Samsung Electronics Co., Ltd. | System and method for context-enriched attentive memory network with global and local encoding for dialogue breakdown detection |
CN110956309A (zh) * | 2019-10-30 | 2020-04-03 | 南京大学 | 基于crf和lstm的流程活动预测方法 |
Non-Patent Citations (2)
Title |
---|
PRERNA AGARWA ET AL.: "Unsupervised Contextual State Representation for Improved Business Process Models", 《BUSINESS PROCESS MANAGEMENT WORKSHOPS. BPM 2020 INTERNATIONAL WORKSHOPS. REVISED SELECTED PAPERS. LECTURE NOTES IN BUSINESS INFORMATION PROCESSING》, pages 143 * |
崔亮: "基于机器学习的业务流程系统的预测", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 25 - 44 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113470217A (zh) * | 2021-07-13 | 2021-10-01 | 合肥工业大学 | 一种基于单目摄像机的车辆轨迹提取与分析系统 |
CN113704319A (zh) * | 2021-07-29 | 2021-11-26 | 南京邮电大学 | 一种结合情景信息的移动终端业务预测方法 |
CN113704319B (zh) * | 2021-07-29 | 2023-05-30 | 南京邮电大学 | 一种结合情景信息的移动终端业务预测方法 |
CN114757432A (zh) * | 2022-04-27 | 2022-07-15 | 浙江传媒学院 | 基于流程日志和多任务学习的未来执行活动及时间预测方法及系统 |
CN114757432B (zh) * | 2022-04-27 | 2023-05-30 | 浙江传媒学院 | 基于流程日志和多任务学习的未来执行活动及时间预测方法及系统 |
CN115049108A (zh) * | 2022-05-20 | 2022-09-13 | 支付宝(杭州)信息技术有限公司 | 多任务模型训练方法、多任务预测方法、相关装置及介质 |
CN116049757A (zh) * | 2023-04-03 | 2023-05-02 | 湖南工商大学 | 基于概念漂移的流程异常行为检测方法 |
CN116822920A (zh) * | 2023-05-23 | 2023-09-29 | 北京杰成合力科技有限公司 | 一种基于循环神经网络的流程预测方法 |
CN116822920B (zh) * | 2023-05-23 | 2024-03-29 | 北京杰成合力科技有限公司 | 一种基于循环神经网络的流程预测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112508265A (zh) | 面向业务流程管理的时间与活动多任务预测方法及系统 | |
TWI788529B (zh) | 基於lstm模型的信用風險預測方法及裝置 | |
Zhang et al. | A graph-based temporal attention framework for multi-sensor traffic flow forecasting | |
US20200382612A1 (en) | Interpretable user modeling from unstructured user data | |
Esquivel et al. | Spatio-temporal prediction of Baltimore crime events using CLSTM neural networks | |
CN111091196A (zh) | 客流数据确定方法、装置、计算机设备和存储介质 | |
CN101546290B (zh) | 提高面向对象型软件中类阶层质量预测准确度的方法 | |
CN114971748A (zh) | 预测数据生成、模型训练方法、计算机设备以及存储介质 | |
CN113239702A (zh) | 意图识别方法、装置、电子设备 | |
CN111402028A (zh) | 一种信息处理方法、装置及设备 | |
Wimmer et al. | Leveraging vision-language models for granular market change prediction | |
CN117151121A (zh) | 一种基于波动阈值与分割化的多意图口语理解方法 | |
Tejaswi et al. | Investigation of Ethereum Price Trends using Machine learning and Deep Learning Algorithms | |
Jerome et al. | Forecasting and anomaly detection on application metrics using lstm | |
Chandrasekaran et al. | Uncertainty-Aware Functional Analysis for Electricity Consumption Prediction Using Multi-Task Optimization Learning Model | |
ZHAO et al. | A Mining Algorithm to Improve LSTM for Predicting Customer Churn in Railway Freight Traffic | |
KR102519878B1 (ko) | 금융기관 신용공여 사업에서의 인공지능 기반 리스크 관리 솔루션을 제공하기 위한 장치, 방법 및 명령을 기록한 기록 매체 | |
Derras et al. | Prediction of recovery time of infrastructure functionalities after an earthquake using machine learning | |
Qureshi et al. | A comparative analysis of traditional SARIMA and machine learning models for CPI data modelling in Pakistan | |
Krishna et al. | Identifying Demand Forecasting using Machine Learning for Business Intelligence | |
Nayak | Artificial chemical reaction optimisation of recurrent functional link neural networks for efficient modelling and forecasting of financial time series | |
CN118014006A (zh) | 一种污水处理厂多任务业务流程预测方法及系统 | |
Kashani et al. | Impact of System Initial Values on Multivariate LSTM Neural Network Performance: A Finding from a Control Process Perspective | |
Yik et al. | NeuroBench: A Framework for Benchmarking Neuromorphic Computing Algorithms and Systems | |
Li | Research on smart grid management and security guarantee of sports stadiums based on GCNN-GRU and self-attention mechanism |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |