CN117541183A - 应用于钢铁电商平台的业务事件处理时间预测方法及设备 - Google Patents

应用于钢铁电商平台的业务事件处理时间预测方法及设备 Download PDF

Info

Publication number
CN117541183A
CN117541183A CN202311587187.5A CN202311587187A CN117541183A CN 117541183 A CN117541183 A CN 117541183A CN 202311587187 A CN202311587187 A CN 202311587187A CN 117541183 A CN117541183 A CN 117541183A
Authority
CN
China
Prior art keywords
event
processing time
business
time
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311587187.5A
Other languages
English (en)
Inventor
陆晓骏
仲跻炜
易力
顾永兴
张志国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ouye Yunshang Co ltd
Original Assignee
Ouye Yunshang Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ouye Yunshang Co ltd filed Critical Ouye Yunshang Co ltd
Priority to CN202311587187.5A priority Critical patent/CN117541183A/zh
Publication of CN117541183A publication Critical patent/CN117541183A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system

Abstract

本发明涉及一种应用于钢铁电商平台的业务事件处理时间预测方法及设备，所述方法包括：实时汇集系统日志，计算待预测业务事件中已完成的各子流程时间，基于训练获得的处理时间预测模型预测获得该待预测业务事件中未发生的各子流程时间；其中，所述处理时间预测模型进行训练时的训练数据通过以下步骤获得：在系统运行过程中，通过流程挖掘获取各个事件按照业务处理的顺序及各自的处理时间，预处理形成规整的时间序列数据；以所述规整的时间序列数据作为所述训练数据。与现有技术相比，本发明具有提高预测可靠性、更有效地对业务流程进行监控等优点。

Description

应用于钢铁电商平台的业务事件处理时间预测方法及设备
技术领域
本发明涉及一种大数据日志处理方法，尤其是涉及一种应用于钢铁电商平台的业务事件处理时间预测方法及设备。
背景技术
对业务流程行为进行预测，是实现高效业务管理的一个关键点。一般由交易、物流、加工、财务等多个信息系统组成的大型钢铁电商交易服务平台中，会生成大量的日志数据，大数据日志一般蕴含事件及人员处理数据，有助于对业务行为进行监控。但业务流程执行的数据通常会被分散记录到不同的系统日志中，随而带来的是事件日志的分布广泛性、格式多样性和非标准化语义等特性，因此，难以对分散在不同信息系统的事件日志数据进行准确分析，给业务监控和业务预测的实现带来困难。
发明内容
本发明的目的就是为了克服上述现有技术存在的不足而提供一种提高预测可靠性、更有效地对业务流程进行监控的应用于钢铁电商平台的业务事件处理时间预测方法及设备。
本发明的目的可以通过以下技术方案来实现：
一种应用于钢铁电商平台的业务事件处理时间预测方法，包括：实时汇集系统日志，计算待预测业务事件中已完成的各子流程时间，基于训练获得的处理时间预测模型预测获得该待预测业务事件中未发生的各子流程时间；
其中，所述处理时间预测模型进行训练时的训练数据通过以下步骤获得：
在系统运行过程中，通过流程挖掘获取各个事件按照业务处理的顺序及各自的处理时间，预处理形成规整的时间序列数据；
以所述规整的时间序列数据作为所述训练数据。
进一步地，所述处理时间预测模型包括至少一个平稳时间序列预测子模型和至少一个不平稳时间序列预测子模型。
进一步地，所述处理时间预测模型进行预测的过程包括：
获取待预测业务事件的序列类型；
基于所述序列类型选择对应的子模型，以预处理后的所述待预测业务事件中已完成的各子流程时间作为对应的子模型的输入，获取预测结果。
进一步地，所述平稳时间序列预测子模型包括Arima模型。
进一步地，所述不平稳时间序列预测子模型包括LSTM模型或Transformer模型。
进一步地，所述预处理包括数据缺失补充处理和数据归一化处理。
进一步地，所述通过流程挖掘获取各个事件按照业务处理的顺序及各自的处理时间具体包括：
获取历史事件日志，每一事件日志中包含实例编号；
基于所述实例编号，将属于同一业务流程的事件日志与对应的业务流程建立匹配关系，实现事件日志数据的汇聚；
将汇聚后的事件日志数据导入到流程挖掘算法模型中，计算生成流程模型，同时通过日志间的时间戳计算出每个事件的处理时间；
对各个事件的每个子流程处理时间进行聚类，得到各个事件的每个子流程处理所需的时间区间范围，获取各个事件按照业务处理的顺序及各自的处理时间。
进一步地，通过机器学习的方法学习得到各个事件处理所需的所述时间区间范围。
进一步地，采集所述待预测业务事件的实际处理时间，在满足设定调整周期时，将所述实际处理时间加入所述训练数据中，对所述处理时间预测模型进行优化。
本发明还提供一种电子设备，包括一个或多个处理器、存储器和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上所述应用于钢铁电商平台的业务事件处理时间预测方法的指令。
与现有技术相比，本发明具有以下有益效果：
1、本发明使用已发生的业务流程时间数据预测对即将的业务流程所需时间进行预测，使得管理者、业务人员及用户能有效的监控业务流程的运行状况并通过预测结果及时的评估业务流程的进展，可靠性高。
2、本发明在进行不同事件的预测时，针对不同事件的时间序列类型，采用不同的预测模型进行预测，有效提高预测准确性。
3、本发明动态对预测模型进行更新，有效提升模型长期使用的准确性。
4、本发明基于流程挖掘方案构建历史训练数据，能够分析分散在不同信息系统的事件日志数据，实现完善的流程分析，并对事件日志进行建模展示，能够准确观察、分析、改进已有的业务流程，为处理时间的预测提供可靠基础。
附图说明
图1为本发明的原理示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
参考图1所示，本实施例提供一种应用于钢铁电商平台的业务事件处理时间预测方法，该方法实时汇集系统日志，计算待预测业务事件中已完成的各子流程时间，基于训练获得的处理时间预测模型预测获得该待预测业务事件中未发生的各子流程时间。上述方法获得的业务流程的预测时间可用于评估及管理日常业务，对于实际发生超过预测值一定比例的业务处理流程进行预警，并进行后续改进。
上述方法中，处理时间预测模型进行训练时的训练数据基于流程挖掘获取，具体通过以下步骤获得：在系统运行过程中，通过流程挖掘获取各个事件按照业务处理的顺序及各自的处理时间，预处理形成规整的时间序列数据；以所述规整的时间序列数据作为训练数据。
上述方法中，通过流程挖掘获取各个事件按照业务处理的顺序及各自的处理时间具体包括：获取历史事件日志，每一事件日志中包含实例编号；基于所述实例编号，将属于同一业务流程的事件日志与对应的业务流程建立匹配关系，实现事件日志数据的汇聚；将汇聚后的事件日志数据导入到流程挖掘算法模型中，计算生成流程模型，同时通过日志间的时间戳计算出每个事件的处理时间；对各个事件的每个子流程处理时间进行聚类，通过机器学习的方法学习得到各个事件的每个子流程处理所需的时间区间范围，获取各个事件按照业务处理的顺序及各自的处理时间。
流程挖掘技术是以事件日志作为输入，每个事件与流程实例相关联按照时间顺序有序执行，表示流程中一个活动的执行。从业务系统中获取日志进行流程挖掘需要日志抽取、格式转化、事件实例识别、日志汇集、流程发现、流程展示、一致性检测和流程增强等步骤。基于流程挖掘方案构建历史训练数据，能够分析分散在不同信息系统的事件日志数据，实现完善的流程分析，并对事件日志进行建模展示，能够准确观察、分析、改进已有的业务流程，为处理时间的预测提供可靠基础。
例如业务的流程根据流程挖掘分解为事件A->B->C->D->E->F，则通过实时汇聚系统日志并处理后形成规整的时间序列数据格式如表1所示。
表1
A B C D E F
10 20 14 16 20 50
12 22 13 17 23 52
13 21 16 15 21 49
11 19 14 16 21 51
在具体实施方式中，所述处理时间预测模型可以包括至少一个平稳时间序列预测子模型和至少一个不平稳时间序列预测子模型。基于训练数据进行训练时，针对一种事件处理流程，选择通过测试集评估的最优子模型作为实际进行预测的模型，保证预测的可靠性。本实施例中，平稳时间序列预测子模型包括Arima模型等，不平稳时间序列预测子模型包括LSTM模型或Transformer模型等。
在具体实施方式中，对数据的预处理包括数据缺失补充处理和数据归一化处理等。其中，数据缺失补充处理具体为：针对缺失的数据，使用该数据前后的数据平均值。数据归一化处理具体为：将数处理为[0,1]之间的小数，其目的是为了在随后的数据预测过程中缩小不同量纲数据带来的影响。在获得模型的预测结果后，需要对结果进行数据还原，从[0,1]之间的小数还原为原始的数据区间。
参考图1所示，本实施例中，处理时间预测模型的具体构建过程如下：
1)获取流程挖掘获得的时间序列数据，进行预处理；
2)对预处理后的时间序列数据进行ADF(单位根)检测，检验序列中是否存在单位根，若存在，则判定该时间序列数据为非平稳时间序列，若否，则判定该时间序列数据为平稳时间序列，将平稳时间序列和非平稳时间序列输入不同的子模型中进行预测；
3)将预处理后的时间序列数据输入对应的子模型中，获得预测结果，并还原；
4)使用最近的10％历史数据和对应的预测结果进行评估，使用RMSE(均方根误差)作为误差评估方法，当有多个子模型时，误差最小的子模型选取为最优模型；
5)基于最优模型构建最终的处理时间预测模型。
处理时间预测模型进行预测的过程包括：获取待预测业务事件的序列类型，该序列类型基于历史数据经ADF检测确定；基于所述序列类型选择对应的子模型，以预处理后的所述待预测业务事件中已完成的各子流程时间作为对应的子模型的输入，获取预测结果。
采用上述预测方法的预测子流程和业务流程总计时间的举例如下：
a)根据前到业务事件预测未发生的业务事件，例如子流程A->B->C，预测模型使用A、B的数据作为变量，根据A、B的事件发生时间来预测C发生的时间，子流程A->B->C->D，可以通过A、B、C的事件发生时间作为变量来预测D发生的时间，以此类推。
b)预测完整业务流程处理的时间：历史业务处理时间为A+B+C+D+E+F的时间，通过历史流程发生的时间来训练模型，预测未来完整的业务流程处理的时间。
在优选的实施方式中，采集所述待预测业务事件的实际处理时间，在满足设定调整周期时，将所述实际处理时间加入所述训练数据中，对所述处理时间预测模型进行优化，定期用最新的数据重新训练学习，更新模型参数，以保证模型的可靠性，提高预测精度。
上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种应用于钢铁电商平台的业务事件处理时间预测方法，其特征在于，包括：实时汇集系统日志，计算待预测业务事件中已完成的各子流程时间，基于训练获得的处理时间预测模型预测获得该待预测业务事件中未发生的各子流程时间；
其中，所述处理时间预测模型进行训练时的训练数据通过以下步骤获得：
在系统运行过程中，通过流程挖掘获取各个事件按照业务处理的顺序及各自的处理时间，预处理形成规整的时间序列数据；
以所述规整的时间序列数据作为所述训练数据。
2.根据权利要求1所述的应用于钢铁电商平台的业务事件处理时间预测方法，其特征在于，所述处理时间预测模型包括至少一个平稳时间序列预测子模型和至少一个不平稳时间序列预测子模型。
3.根据权利要求2所述的应用于钢铁电商平台的业务事件处理时间预测方法，其特征在于，所述处理时间预测模型进行预测的过程包括：
获取待预测业务事件的序列类型；
基于所述序列类型选择对应的子模型，以预处理后的所述待预测业务事件中已完成的各子流程时间作为对应的子模型的输入，获取预测结果。
4.根据权利要求2所述的应用于钢铁电商平台的业务事件处理时间预测方法，其特征在于，所述平稳时间序列预测子模型包括Arima模型。
5.根据权利要求2所述的应用于钢铁电商平台的业务事件处理时间预测方法，其特征在于，所述不平稳时间序列预测子模型包括LSTM模型或Transformer模型。
6.根据权利要求1或3所述的应用于钢铁电商平台的业务事件处理时间预测方法，其特征在于，所述预处理包括数据缺失补充处理和数据归一化处理。
7.根据权利要求1所述的应用于钢铁电商平台的业务事件处理时间预测方法，其特征在于，所述通过流程挖掘获取各个事件按照业务处理的顺序及各自的处理时间具体包括：
获取历史事件日志，每一事件日志中包含实例编号；
基于所述实例编号，将属于同一业务流程的事件日志与对应的业务流程建立匹配关系，实现事件日志数据的汇聚；
将汇聚后的事件日志数据导入到流程挖掘算法模型中，计算生成流程模型，同时通过日志间的时间戳计算出每个事件的处理时间；
对各个事件的每个子流程处理时间进行聚类，得到各个事件的每个子流程处理所需的时间区间范围，获取各个事件按照业务处理的顺序及各自的处理时间。
8.根据权利要求7所述的应用于钢铁电商平台的业务事件处理时间预测方法，其特征在于，通过机器学习的方法学习得到各个事件处理所需的所述时间区间范围。
9.根据权利要求1所述的应用于钢铁电商平台的业务事件处理时间预测方法，其特征在于，采集所述待预测业务事件的实际处理时间，在满足设定调整周期时，将所述实际处理时间加入所述训练数据中，对所述处理时间预测模型进行优化。
10.一种电子设备，其特征在于，包括一个或多个处理器、存储器和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-9任一所述应用于钢铁电商平台的业务事件处理时间预测方法的指令。
CN202311587187.5A 2023-11-24 2023-11-24 应用于钢铁电商平台的业务事件处理时间预测方法及设备 Pending CN117541183A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311587187.5A CN117541183A (zh) 2023-11-24 2023-11-24 应用于钢铁电商平台的业务事件处理时间预测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311587187.5A CN117541183A (zh) 2023-11-24 2023-11-24 应用于钢铁电商平台的业务事件处理时间预测方法及设备

Publications (1)

Publication Number Publication Date
CN117541183A true CN117541183A (zh) 2024-02-09

Family

ID=89791553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311587187.5A Pending CN117541183A (zh) 2023-11-24 2023-11-24 应用于钢铁电商平台的业务事件处理时间预测方法及设备

Country Status (1)

Country Link
CN (1) CN117541183A (zh)

Similar Documents

Publication Publication Date Title
CN110417721B (zh) 安全风险评估方法、装置、设备及计算机可读存储介质
CN109544399B (zh) 基于多源异构数据的输电设备状态评价方法及装置
CN113282635B (zh) 一种微服务系统故障根因定位方法及装置
CN111726248A (zh) 一种告警根因定位方法及装置
CN114267178B (zh) 一种车站的智能运营维护方法及装置
CN111796957B (zh) 基于应用日志的交易异常根因分析方法及系统
CN111786385B (zh) 一种电网运维方案规划方法、系统及设备
CN115280337A (zh) 基于机器学习的数据监控
CN115122155A (zh) 基于工业互联网大数据的机床远程诊断方法及系统
CN108306997B (zh) 域名解析监控方法及装置
CN114880312B (zh) 一种可柔性设置的应用系统业务数据稽核方法
CN110750299A (zh) 智能软件质量跟踪系统、方法及存储介质
CN115860278B (zh) 一种基于数据分析的电机组装生产管理方法及系统
CN116701846A (zh) 一种基于无监督学习的水电站调度运行数据清洗方法
CN111738824A (zh) 一种账务数据处理方式筛选方法、装置及系统
CN117541183A (zh) 应用于钢铁电商平台的业务事件处理时间预测方法及设备
CN111783487B (zh) 一种读卡器设备的故障预警方法及装置
CN114722025A (zh) 基于预测模型的数据预测方法、装置、设备及存储介质
CN112766981A (zh) 一种基于机器学习的商圈树构建方法及系统
CN111612302A (zh) 一种集团级数据管理方法和设备
CN113553358B (zh) 一种基于数据挖掘的电网设备无效数据辨识方法及装置
CN112087482B (zh) 利用云端系统对多台设备进行管理的方法
CN115271734A (zh) 充值异常检测方法、装置、电子设备及存储介质
CN117473268A (zh) 一种阈值预测方法、系统、设备及存储介质
CN116227900A (zh) 基于流程挖掘的预警事件自动诊断方法、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination