CN115456073B - 基于长短期记忆的生成式对抗网络模型建模分析方法 - Google Patents

Abstract

本发明提出了一种基于长短期记忆的生成式对抗网络(WGAN‑LSTM)模型对流程实例运行结果进行建模分析的方法，旨在对流程实例运行结果进行精准预测，为实现业务流程的动态监管及异常预警提供支持，本发明提供一种基于长短期记忆的生成式对抗网络模型建模分析方法，包括：步骤1，待预测流程实例已经执行的事件信息进行数据预处理；步骤2，将步骤1中的数据输入GAN‑LSTM模型中进行训练，得到预测模型M；步骤3，将正在执行的待预测流程实例输入到预测模型M中，预测出该条待预测流程实例对应的结果标签。

Description

基于长短期记忆的生成式对抗网络模型建模分析方法

技术领域

本发明涉及业务流程管理领域，特别是指一种基于长短期记忆的生成式对抗网络(WGAN-LSTM)模型来对流程实例运行结果进行建模分析的方法。

背景技术

业务流程通常运行在特定的流程管理系统中，流程日志是流程管理系统记录的流程实例执行的历史信息。这些信息通常以某种特定的格式进行存储。流程日志包含的信息如表1所示，该表为某航空公司赔偿处理流程的流程日志片段，它阐明了用于预测性业务流程监控研究的流程日志所需要的信息。

表1某航空公司赔偿处理流程的流程日志片段

从表中可以看出，流程日志通常包含许多流程轨迹，流程轨迹就是一次流程实例(或者流程案例)执行的所有事件信息。事件简单来说就是流程实例中一个个执行任务的相关信息，在表1中，一行记录代表一个事件，事件通常包含多个属性。Case ID表示事件所属的流程实例的唯一标识，流程轨迹中的所有事件都具有相同的Case ID。Event ID为事件的唯一标识。Activaty代表事件所执行的具体活动。Timestamp代表事件中活动的执行时间。活动的不同执行时间使得流程轨迹中的活动具有了序列特征。Resource代表事件中活动的执行所需要的资源信息，例如活动的执行人及其对应的组织角色等。除此之外，流程日志还包含了事件的其他相关属性，例如活动执行所需设备资源以及花费等等。

发明内容

本发明提出了一种基于长短期记忆的生成式对抗网络(WGAN-LSTM)模型对流程实例运行结果进行建模分析的方法，旨在对流程实例运行结果进行精准预测，为实现业务流程的动态监管及异常预警提供支持。

流程实例运行结果预测任务就是利用构建的深度神经网络在历史流程日志数据集上训练得到一个分类模型，然后根据待预测流程实例已经执行的事件信息经过数据预处理输入到训练好的模型中，最后输出该条流程实例运行结束时的流程结果。

本发明提供基于长短期记忆的生成式对抗网络模型建模分析方法，包括以下步骤：

步骤1，待预测流程实例已经执行的事件信息进行数据预处理；

步骤2，将步骤1中的数据输入GAN-LSTM模型中进行训练，得到预测模型M；

步骤3，将正在执行的待预测流程实例输入到预测模型M中，预测出该条待预测流程实例对应的结果标签。

作为优选，所述的GAN-LSTM模型训练过程，包括以下步骤：

子步骤2-1，从步骤1的数据中获取流程轨迹前缀<x₁,x₂,…,x_k>和对应结果标签的向量<y₁,y₂,…,y_k>；

子步骤2-2，利用生成器生成轨迹前缀对应的预测标签o_k；

子步骤2-3，将流程轨迹前缀和预测标签组成伪前缀，将流程轨迹前缀和真实标签组成真实前缀，均输入判别器；

子步骤2-4，判别器输出真假程度。

作为优选，所述的生成器的训练过程表述为公式：

z_k＝G(x_k)

其中，z_k表示预测的流程结果标签，xk表示输入的第k条轨迹前缀；

生成器的损失函数定义如下所示：

loss_G＝-D(z_k)+λ(x_k logz_k+(1-x_k)log(1-z_k))

其中，λ为网络超参数，其作用是调整预测损失和对抗损失在网络训练过程中的作用比例，z_k表示利用生成器构建的伪样本，x_k表示来自真实数据集的样本；通过最小化loss_G，在减少预测损失的同时能够最大化D(z_k)，使得判别器将生成器生成的数据判别的更加真实。

作为优选，所述的判别器的损失函数，具体公式如下：

loss_D＝-D(x)+D(z)

其中，x和z分别代表来自真实数据集和来自生成器生成的预测数据集的数据，判别器的优化通过最小化loss_D来实现，即在通过最大化D(x)的同时能够最小化D(z)。

作为优选，所述的生成器由LSTM网络构成，包括：输入层、编码层、隐藏层和输出层；

输入层用于输入流程轨迹前缀σ＝<e₁,e₂,…,e_k>；

编码层用于将流程轨迹序列根据编码算法转换成特征向量；

隐藏层用于将轨迹前缀中的每个事件活动编码构成的序列X＝<x₁,x₂,…,x_k>作为该层的输入节点，根据第i个输入的活动x_i和第i-1个活动的隐藏层输出h_i-1，得到第i个输入活动对应的输出h_i，从而得到隐藏层输出h₁,h₂,…,h_k。

输出层是将上一层得到的轨迹前缀σ中所有事件的特征向量O＝[o₁,o₂,…,o_k]输入sigmoid分类函数得到预测的分类结果z,在该层通过使用非线性变换将特征向量映射为输出结果类型长度的向量，然后通过sigmoid函数计算对应输出标签类别的概率。

作为优选，所述的隐藏层包括若干个记忆单元c，单个记忆单元c含有：

输入门i_i决定哪些信息可以流入记忆单元中，

遗忘门f_i决定哪些信息被忘记，

输出门o_i决定哪些信息从记忆单元中输出；

对于记忆单元设h_i和c_i-1是活动e_i-1的隐藏层输出和单元状态，通过以下公式计算流程轨迹前缀σ对应输出结果类别的概率：

其中，g_i代表更新的候选信息，c_i为更新后新的状态，

W_i ^i-1、W_g、/>

和W_c代表权重矩阵，b_f、b_i、b_o，b_c为偏移量；z代表该流程实例的结果预测为正样本类型的概率。

本发明的实质性特点在于：流程决策者可以在短时间内获取准确率较高的预测指标，并根据不同预测指标做出相应措施。与同类的其他模型相比WGAN-LSTM模型在不同数据集上平均的离线时间和在线预测时间与其他模型相当。使用该方法与现有的预测流程实例运行结果方法相比，其平均预测准确率比现有最新的方法提高了3％、并且早期性及稳定性都优于现有的方法。综合分析本发明提出的方法具有准确率高，早期性及稳定性好的特点。

附图说明

图1本发明的预测流程结果任务示意图；

图2本发明的GAN-LSTM模型预测流程结果具体结构图；

图3本发明的生成器模块结构；

图4本发明的判别器模块结构；

图5流程结果预测流程图；

图6不同预测模型在各数据集上根据不同长度轨迹前缀预测的AUC变化趋势。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。

本发明提出了一种基于长短期记忆的生成式对抗网络(WGAN-LSTM)模型对流程实例运行结果进行建模分析的方法，旨在对流程实例运行结果进行精准预测，为实现业务流程的动态监管及异常预警提供支持。

流程实例运行结果预测任务就是利用构建的深度神经网络在历史流程日志数据集上训练得到一个分类模型，然后根据待预测流程实例已经执行的事件信息经过数据预处理输入到训练好的模型中，最后输出该条流程实例运行结束时的流程结果。预测流程实例运行结果任务的问题定义如下：

输入：流程日志：L＝{<σ₁,y₁>,<σ₂,y₂>,…,<σ_m,y_m>}，L中包含了m条流程轨迹及其对应的结果标签。一条正在执行的流程实例对应的流程前缀轨迹：

中间结果：利用构建的神经网络在L上学习训练，得到一个预测模型M。

输出：根据待预测流程实例

的历史事件信息，利用预测模型M预测出该条流程实例对应的结果标签/>

图1为预测流程结果任务示意图。如图所示，根据流程日志L中的历史流程轨迹活动序列及其对应的结果标签，将其经过数据预处理输入到构建的神经网络训练得到一个预测模型M，然后根据正在执行的流程实例

中已经执行的事件信息，将其处理成轨迹前缀并经过特征提取输入到预测模型M，最后输出/>

对应的结果标签/>

本发明提出的基于长短期记忆的生成式对抗网络是在WGAN的基础上进行构建。与WGAN最大的区别在于本发明提出的GAN-LSTM模型中的生成器和判别器均采用LSTM构建，利用LSTM网路构建生成器的原因在于流程轨迹中的活动具有时序特征，并且在现有的研究中已经被证实LSTM网络在流程预测相关任务上效果表现良好^[14][15][16]。基于上述问题描述利用GAN-LSTM模型预测流程结果的具体结构如图2所示：

其中<x₁,x₂,…,x_k>和<y₁,y₂,…,y_k>分别表示流程轨迹前缀和对应结果标签的向量表示形式，利用生成器生成轨迹前缀对应的预测标签o_k，然后将流程轨迹前缀和预测标签与真实标签分别组成伪前缀和真实前缀作为判别器的输入，然后判别器判别两个输入的真假程度。

生成器输入是轨迹前缀及对应的真实结果标签，输出为预测的结果标签。生成器的训练过程可以总结为以下公式：

z_k＝G(x_k)

上式中，z_k表示预测的流程结果标签，x_k表示输入的第k条轨迹前缀。在WGAN-LSTM模型中，生成器由LSTM构建，此外通过添加额外的全连接层来规范数据输入和输出的维度。为了确保生成器网络可以生成更接近真实结果的预测值，本文将WGAN-LSTM模型中生成器的损失函数划分为了对抗损失和预测损失两个部分，对抗损失为WGAN网络的原始损失，预测损失通过计算LSTM网络的预测值与实际值之间的误差得到。对抗损失主要约束生成器的输出能够在轨迹活动序列上更符合真实序列的数据分布，预测损失计算预测值与实际值之间的误差，可以通过交叉熵来度量。因此，生成器的完整损失函数定义如下所示：

loss_G＝-D(z_k)+λ(x_k logz_k+(1-x_k)log(1-z_k))

其中，λ为网络超参数，其作用是调整预测损失和对抗损失在网络训练过程中的作用比例，z_k表示利用生成器构建的伪样本，x_k表示来自真实数据集的样本。通过最小化loss_G，在减少预测损失的同时能够最大化D(z_k)，使得判别器将生成器生成的数据判别的更加真实。生成器的具体结构如图3所示。

如图3所示，用于构建生成器的LSTM网络结构主要由输入层、编码层、隐藏层和输出层四部分组成。输入层主要输入流程轨迹前缀σ＝<e₁,e₂,…,e_k>。编码层主要将流程轨迹序列根据编码算法转换成特征向量。隐藏层又称特征提取层，将轨迹前缀中的每个事件活动编码构成的序列X＝<x₁,x₂,…,x_k>作为该层的输入节点，根据第i个输入的活动x_i和第i-1个活动的隐藏层输出h_i-1，可以得到第i个输入活动对应的输出h_i，以此类推，可以得到该轨迹前缀中每个活动的隐藏层输出h₁,h₂,…,h_k，该层得到的特征向量h_i是对当前活动与在它之前发生的活动之间的信息进行学习得到的特征，可以表示为：

o_i＝LSTM(x_i,h_i-1),i∈[1,k]

该层中的每个单元就是原始LSTM网络中的记忆单元c，通常含有三个门控制信息的流动：输入门i_i决定哪些信息可以流入记忆单元中，遗忘门f_i决定哪些信息被忘记，而输出门o_i决定哪些信息从记忆单元中输出。对于该层中的每个记忆单元，假设h_i和c_i-1是活动e_i-1的隐藏层输出和单元状态，可以通过下面公式计算得到轨迹序列σ对应输出结果类别的概率。

其中，g_i代表更新的候选信息，c_i为更新后新的状态，

W_i ^i-1、W_g、/>

和W_c代表权重矩阵，b_f、b_i、b_o，b_c为偏移量。z代表该流程实例的结果预测为正样本类型的概率。

判别器的主要作用是对生成器输出的数据进行判别修正。判别器的输入为流程轨迹前缀及其对应的真实的流程结果标签或者流程轨迹前缀及其对应的预测结果标签，输出为0到1之间的概率值。判别器的损失函数仍然沿用WGAN网络的损失函数，具体公式如下：

loss_D＝-D(x)+D(z)

式中，x和z分别代表来自真实数据集和来自生成器生成的预测数据集的数据，判别器的优化通过最小化loss_D来实现，即在通过最大化D(x)的同时能够最小化D(z)。当模型训练完成时，判别器输入真实样本的输出概率接近1，输入伪样本的输出概率接近0。判别器网络结构如图4所示。

如图4所示，首先对流程日志数据集预处理后，将流程轨迹前缀及对应的结果标签作为模型的输入，然后进行模型训练直至判别器无法判别真假数据时结束，最后利用训练好的模型在测试集上进行测试验证，并与现有研究方法进行对比，根据评价指标进行评估分析。

上述为本发明的研究思路，具体研究流程如图5所示，接下来将在真实日志数据集中验证本方法有效性。本实验数据集采用均采用4TU平台公开的真实流程日志数据集，下面对这些数据集的业务背景和输出结果进行简单描述。

BPIC_2012：该数据集最初来源于2012年公开的一个业务流程智能挑战研究比赛，其内容记录了荷兰某财政机构的申请贷款流程日志。日志中每个流程实例代表一次贷款申请，并且每个申请流程执行结束后都对应一个结果，流程结果共有三类，即贷款申请成功、拒绝和取消。为了方便和之前的研究方法进行对比，本文将这个三分类问题转换成三个独立的二分类问题。在实验中，分别用BPIC_2012_Accepted、BPIC_2012_Declined和BPIC_2012_Cancelled来表示三个数据集。

BPIC_2017：该数据集与BPIC_2012数据集的来源一致。其内容都是记录了每一次申请贷款的详细数据，但与BPIC_2012相比，BPIC_2017的数据收集方式得到了改进，其记录的数据更丰富、噪声更小。类似地，可以将该数据集转换为三个独立的二分类问题的数据集，分别为BPIC_2017_Accepted、BPIC_2017_Declined和BPIC_2017_Cancelled。

Sepsis_cases：该数据集来源于荷兰某家医院，其内容记录了败血症病人的诊断轨迹，包括病人在医院注册登记开始直到出院的所有活动。根据每位患者的诊断轨迹，得到三个均为二分类问题的数据集：

①Sepsis_cases_1：根据病人出院后28天内是否返回急诊室为流程实例标记结果类型。

②Sepsis_cases_2：根据病人是否转去重症监护室为流程实例标记结果类型。

③Sepsis_cases_3：根据病人是否正常出院为流程实例标记结果类型。

Traffic Fines：该数据集来源于意大利某警察局，涉及的事件主要包括发送罚单和缴费支付活动，其内容记录了交通罚款的相关信息，比如罚款原因、罚款总金额、缴费支付总金额等等。数据集中每条流程实例的执行结果为处罚的罚款是否缴清。因此，可以根据某次交通处罚罚款是否已全部缴清可直接定义二分类结果标签。

通过上述处理，共得到10个细分的日志数据集，每个数据集的相关信息表2所示。

表2数据集具体信息

本发明所有实验均在操作系统为Windows10专业版，CPU为Intel i7-77003.60GHz，内存为32.0G的机器上完成。

WGAN-LSTM模型训练通过将生成器和判别器交替训练，训练生成器时将判别器参数固定并串联到生成器后，生成器的预测损失为生成器生成的结果标签和真实结果标签的误差，生成器的对抗损失则利用判别器的输出概率值计算得到。生成器的网络参数通过损失函数计算并沿负梯度方向进行更新。训练判别器时将生成器的参数固定并生成假的结果标签，判别器判断并输出当前输入数据来自真实样本集的概率。

如表3至表7所示，在本实验中，本发明的方法预测流程实例运行结果，流程决策者可以在短时间内获取准确率较高的预测指标，并根据不同预测指标做出相应措施。如图6所示，与其他预测模型相比，WGAN-LSTM模型在不同数据集上平均的离线时间和在线预测时间与其他模型相当。虽然在各数据集上的离线时间与CNN和LSTM模型相比稍差一些，但WGAN-LSTM模型能够提供更高的准确率，并且离线时间也控制在可接受范围之内。如果不使用该方法，利用深度神经网络预测流程实例运行结果虽然可以提高流程结果预测效率，但是预测效果仍然不能为流程监控提供有效支持。使用该方法与现有的预测流程实例运行结果方法相比，其平均预测准确率比现有最新的方法提高了3％、并且早期性及稳定性都优于现有的方法。综合分析本发明提出的方法具有准确率高，早期性及稳定性好的特点。

表3不同流程结果预测方法在各数据集上的总体AUC比较

表4不同流程结果预测方法在各数据集上的总体AUC比较

表5不同方法在各数据集上的早期性比较

表6不同预测方法预测流程结果的离线时间比较

表7不同预测方法预测流程结果的在线预测时间比较

Claims (3)

1.基于长短期记忆的生成式对抗网络模型建模分析方法，其特征在于，包括以下步骤：

步骤1，待预测流程实例已经执行的事件信息进行数据预处理；

步骤2，将步骤1中的数据输入GAN-LSTM模型中进行训练，得到预测模型M；

子步骤2-1，从步骤1的数据中获取流程轨迹前缀<x₁，x₂，...，x_k>和对应结果标签的向量<y₁，y₂，...，y_k>；

子步骤2-2，利用生成器生成轨迹前缀对应的预测标签o_k；

所述的生成器的训练过程表述为公式：

z_k＝G(x_k)

其中，z_k表示预测的流程结果标签，x_k表示输入的第k条轨迹前缀；

生成器的损失函数定义如下所示：

loss_G＝-D(z_k)+λ(x_klogz_k+(1-x_k)log(1-z_k))

其中，λ为网络超参数，其作用是调整预测损失和对抗损失在网络训练过程中的作用比例，z_k表示利用生成器构建的伪样本，x_k表示来自真实数据集的样本；通过最小化loss_G，在减少预测损失的同时能够最大化D(z_k)，使得判别器将生成器生成的数据判别的更加真实；

子步骤2-3，将流程轨迹前缀和预测标签组成伪前缀，将流程轨迹前缀和真实标签组成真实前缀，均输入判别器；

所述的判别器的损失函数，具体公式如下：

loss_D＝-D(x)+D(z)

其中，x和z分别代表来自真实数据集和来自生成器生成的预测数据集的数据，判别器的优化通过最小化loss_D来实现，即在通过最大化D(x)的同时能够最小化D(z)；

子步骤2-4，判别器输出真假程度；

步骤3，将正在执行的待预测流程实例输入到预测模型M中，预测出该条待预测流程实例对应的结果标签。

2.根据权利要求1所述的基于长短期记忆的生成式对抗网络模型建模分析方法，其特征在于，所述的生成器由LSTM网络构成，包括：输入层、编码层、隐藏层和输出层；

输入层用于输入流程轨迹前缀σ＝<e₁，e₂，...，e_k>；

编码层用于将流程轨迹序列根据编码算法转换成特征向量；

隐藏层用于将轨迹前缀中的每个事件活动编码构成的序列X＝<x₁，x₂，...，x_k>作为该层的输入节点，根据第i个输入的活动x_i和第i-1个活动的隐藏层输出h_i-1，得到第i个输入活动对应的输出h_i，从而得到隐藏层输出h₁，h₂，...，h_k；

输出层是将上一层得到的轨迹前缀σ中所有事件的特征向量O＝[o₁，o₂，...，o_k]输入sigmoid分类函数得到预测的分类结果z，在该层通过使用非线性变换将特征向量映射为输出结果类型长度的向量，然后通过sigmoid函数计算对应输出标签类别的概率。

3.根据权利要求2所述的基于长短期记忆的生成式对抗网络模型建模分析方法，其特征在于，所述的隐藏层包括若干个记忆单元c，单个记忆单元c含有：

输入门i_i决定哪些信息可以流入记忆单元中，

遗忘门f_i决定哪些信息被忘记，

输出门o_i决定哪些信息从记忆单元中输出；

对于记忆单元设h_i和c_i-1是活动e_i-1的隐藏层输出和单元状态，通过以下公式计算流程轨迹前缀σ对应输出结果类别的概率：

其中，g_i代表更新的候选信息，c_i为更新后新的状态，

W_g、/>

和W_c代表权重矩阵，b_f、b_i、b_o，b_c为偏移量；z代表该流程实例的结果预测为正样本类型的概率。

Images