CN114066089A - 批量作业运行耗时区间确定方法及装置 - Google Patents

批量作业运行耗时区间确定方法及装置 Download PDF

Info

Publication number
CN114066089A
CN114066089A CN202111412924.9A CN202111412924A CN114066089A CN 114066089 A CN114066089 A CN 114066089A CN 202111412924 A CN202111412924 A CN 202111412924A CN 114066089 A CN114066089 A CN 114066089A
Authority
CN
China
Prior art keywords
time
consuming
predicted
historical
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111412924.9A
Other languages
English (en)
Inventor
赵亚晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202111412924.9A priority Critical patent/CN114066089A/zh
Publication of CN114066089A publication Critical patent/CN114066089A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Technology Law (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种批量作业运行耗时区间确定方法及装置,可用于金融领域或其他领域,方法包括:获取待预测批量作业的基本数据及待预测时间,根据待预测时间,获取与待预测时间对应的耗时预测模型;将待预测批量作业的基本数据输入至耗时预测模型中进行预设次数的耗时预测,得到多个耗时预测值;获取与待预测批量作业相对应的历史耗时值,确定历史耗时值与耗时预测值的误差值;根据误差值确定误差值的置信区间,利用误差值的置信区间,确定待预测批量作业的运行耗时区间。本发明通过精准的确定批量作业的耗时区间,减少批量作业监控误报和漏报的风险,能够获得相关批量作业耗时波动的正常范围,实现对批量作业运行的性能容量达到更加精准的监控。

Description

批量作业运行耗时区间确定方法及装置
技术领域
本发明涉及批量作业运行技术领域,尤指一种批量作业运行耗时区间确定方法及装置。
背景技术
银行批量作业在应用运行中发挥着至关重要的作用,尤其具有时效考核的批量,当批量结作业束时间晚于监管机构的时效要求时,将会面临被惩罚的风险,批量作业耗时是一个具有较高不确定性的随机时间序列,受较多因素的影响例如数据量、节假日、电商促销日等,很难精准的预测未来的耗时。
目前现有的技术是通过根据批量作业历史耗时,运用线性回归模型或智能算法进行批量作业耗时的点预测,虽然能预测出批量作业耗时的明确数值,但是该技术方法存在以下不足之处:不能给出批量作业耗时波动的范围,而且某些批量作业耗时在正常范围内波动,属于正确的现象,也无需引起关注,只有超过上限报警的批量作业,才需要进行处理和分析,根据银行应用批量作业故障预警的需求,批量作业耗时预测不仅需要给出数据未来变化趋势,同时还需要体现变化范围。
发明内容
针对现有技术中存在的问题,本发明实施例的主要目的在于提供一种批量作业运行耗时区间确定方法及装置,实现更加精准的对批量作业运行的耗时确定及性能监控。
为了实现上述目的,本发明实施例提供一种批量作业运行耗时区间确定方法,所述方法包括:
获取待预测批量作业的基本数据及待预测时间,并根据所述待预测时间,获取与所述待预测时间对应的耗时预测模型;
将所述待预测批量作业的基本数据输入至所述耗时预测模型中进行预设次数的耗时预测,得到多个耗时预测值;
获取与所述待预测批量作业相对应的历史耗时值,确定所述历史耗时值与所述耗时预测值的误差值;
根据所述误差值确定所述误差值的置信区间,并利用所述误差值的置信区间,确定所述待预测批量作业的运行耗时区间。
可选的,在本发明一实施例中,所述根据所述待预测时间,获取与所述待预测时间对应的耗时预测模型包括:
根据所述待预测时间的日期类型,获取与所述待预测时间的日期类型相对应的耗时预测模型;其中,所述日期类型包括月初类型、节假日类型、促销日类型及平常日类型。
可选的,在本发明一实施例中,通过如下方式预先建立所述耗时预测模型:
获取历史批量作业的历史基本数据及历史耗时数据;其中,所述历史基本数据包括历史作业类型、历史作业量及历史运行日期;
根据所述历史运行日期,对所述历史批量作业的历史基本数据及历史耗时数据进行日期类型划分;
将所述日期类型对应的所述历史批量作业的历史基本数据及历史耗时数据作为训练样本数据,对预设的初始神经网络模型进行训练,得到与所述日期类型对应的耗时预测模型。
可选的,在本发明一实施例中,所述获取历史批量作业的历史耗时数据包括:
获取历史批量作业历史耗时数据,并利用中值滤波方式,根据预设窗口宽度对所述历史耗时数据进行异常值识别;
利用预设窗口宽度确定所述历史耗时数据的窗口元素中值,并使用所述窗口元素中值替换识别到的异常值。
可选的,在本发明一实施例中,所述对预设的初始神经网络模型进行训练,得到与所述日期类型对应的耗时预测模型包括:
利用所述训练样本数据,对所述初始神经网络模型进行预设训练次数的训练,每次模型训练对应不同的模型隐层节点数量,得到每次模型训练对应的输出值及其平均值;
根据所述训练样本数据及每次模型训练对应的平均值,确定每次模型训练对应的均方根误差及平均绝对百分比误差;
根据所述均方根误差及平均绝对百分比误差,确定耗时预测模型对应的模型隐层节点数量,以得到与所述日期类型对应的耗时预测模型。
可选的,在本发明一实施例中,所述根据所述误差值确定所述误差值的置信区间,并利用所述误差值的置信区间,确定所述待预测批量作业的运行耗时区间包括:
根据所述误差值确定其对应的平均值及标准差,并根据所述误差值对应的平均值及标准差,确定所述误差值的置信区间;
利用所述误差值的置信区间及所述耗时预测值,确定所述待预测批量作业的运行耗时区间。
可选的,在本发明一实施例中,所述方法还包括:利用所述待预测批量作业的运行耗时区间进行批量业务数据的监控。
本发明实施例还提供一种批量作业运行耗时区间确定装置,所述装置包括:
数据获取模块,用于获取待预测批量作业的基本数据及待预测时间,并根据所述待预测时间,获取与所述待预测时间对应的耗时预测模型;
耗时预测模块,用于将所述待预测批量作业的基本数据输入至所述耗时预测模型中进行预设次数的耗时预测,得到多个耗时预测值;
误差值模块,用于获取与所述待预测批量作业相对应的历史耗时值,确定所述历史耗时值与所述耗时预测值的误差值;
耗时区间模块,用于根据所述误差值确定所述误差值的置信区间,并利用所述误差值的置信区间,确定所述待预测批量作业的运行耗时区间。
可选的,在本发明一实施例中,所述装置还包括模型建立模块,用于获取历史批量作业的历史基本数据及历史耗时数据;其中,所述历史基本数据包括历史作业类型、历史作业量及历史运行日期;根据所述历史运行日期,对所述历史批量作业的历史基本数据及历史耗时数据进行日期类型划分;将所述日期类型对应的所述历史批量作业的历史基本数据及历史耗时数据作为训练样本数据,对预设的初始神经网络模型进行训练,得到与所述日期类型对应的耗时预测模型。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明通过精准的确定批量作业的耗时区间,减少批量作业监控误报和漏报的风险,能够获得相关批量作业耗时波动的正常范围,实现对批量作业运行的性能容量达到更加精准的监控。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一种批量作业运行耗时区间确定方法的流程图;
图2为本发明实施例中建立耗时预测模型的流程图;
图3为本发明实施例中获取历史耗时数据的流程图;
图4为本发明实施例中耗时预测模型训练的流程图;
图5为本发明实施例中确定运行耗时区间的流程图;
图6为本发明实施例一种批量作业运行耗时区间确定装置的结构示意图;
图7为本发明另一实施例中批量作业运行耗时区间确定装置的结构示意图;
图8为本发明实施例中模型建立模块的结构示意图;
图9为本发明另一实施例中模型建立模块的结构示意图;
图10为本发明实施例中耗时区间模块的结构示意图;
图11为本发明再一实施例中批量作业运行耗时区间确定装置的结构示意图;
图12为本发明一实施例所提供的电子设备的结构示意图。
具体实施方式
本发明实施例提供一种批量作业运行耗时区间确定方法及装置,可用于金融领域及其他领域,需要说明的是,本发明的批量作业运行耗时区间确定方法及装置可用于金融领域,也可用于除金融领域之外的任意领域,本发明的批量作业运行耗时区间确定方法及装置应用领域不做限定。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示为本发明实施例一种批量作业运行耗时区间确定方法的流程图,本发明实施例提供的批量作业运行耗时区间确定方法的执行主体包括但不限于计算机。图中所示方法包括:
步骤S1,获取待预测批量作业的基本数据及待预测时间,并根据所述待预测时间,获取与所述待预测时间对应的耗时预测模型。
其中,待预测批量作业的基本数据包括作业类型及作业量,待预测时间可以为具体日期。
进一步的,确定待预测时间的日期类型,日期类型包括月初类型、节假日类型、促销日类型及平常日类型。具体的,例如若待预测时间为4月1日,则该待预测时间为月初类型;若待预测时间为10月1日,则该待预测时间为节假日类型;若待预测时间为11月11日,则该待预测时间为促销日类型。
具体的,月初类型为每个月的前5天,节假日类型为春节、元旦、清明、五一、端午、中秋、国庆,促销日类型为6.18、11.11、12.12,平常日为去除前三种时间段外,剩余的日期。
进一步的,不同的日期类型对应不同的耗时预测模型,耗时预测模型为预先建立的神经网络模块,用于对批量作业运行时间进行预测。
步骤S2,将所述待预测批量作业的基本数据输入至所述耗时预测模型中进行预设次数的耗时预测,得到多个耗时预测值。
其中,将待预测批量作业的基本数据输入至对应的耗时预测模型中,由耗时预测模型进行预设次数计算,例如,100次,由此得到多个耗时预测值。
具体的,通过让模型运行一定的次数,可以得t时刻,即批量作业耗时的数据,由此得到批量作业耗时多个预测的数据,比如模型运行100次,将会有100个批量作业耗时的数据,将这些耗时数据作为待预测批量作业的耗时预测值。
步骤S3,获取与所述待预测批量作业相对应的历史耗时值,确定所述历史耗时值与所述耗时预测值的误差值。
其中,不同类型的批量作业,在同一的日期类型下,均具有历史实际耗时,可存储于数据库或其他存储设备中。历史实际耗时可以为单日耗时或多日平均耗时,可以作为待预测批量作业相对应的历史耗时值。
进一步的,以待预测批量作业相对应的历史耗时值作为参照,计算历史耗时值与耗时预测值之间的误差。具体的,可以求得各个耗时预测值与历史耗时值之间的差值,将差值的绝对值作为误差值,得到多个误差值。
步骤S4,根据所述误差值确定所述误差值的置信区间,并利用所述误差值的置信区间,确定所述待预测批量作业的运行耗时区间。
其中,将误差值视为正态分布运用统计学理论基于95%的置信水平,计算误差值的置信区间,如误差值x的平均值为u,标准误差σ,则误差值x的置信区间为[u-1.96σ,u+1.96σ]。
进一步的,通过误差值的置信区间,求出批量作业耗时y的波动范围[y-u-1.96σ,y-u+1.96σ],将其作为待预测批量作业的运行耗时区间。
具体的,得到误差值的置信区间后,可以计算出每一个耗时预测值的运行耗时区间。求取多个耗时预测值运行耗时区间的并集,将其作为待预测批量作业的运行耗时区间。
作为本发明的一个实施例,根据所述待预测时间,获取与所述待预测时间对应的耗时预测模型包括:根据所述待预测时间的日期类型,获取与所述待预测时间的日期类型相对应的耗时预测模型;其中,所述日期类型包括月初类型、节假日类型、促销日类型及平常日类型。
其中,获取待预测批量作业的作业类型、作业量及待预测时间,确定待预测时间的日期类型,日期类型包括月初类型、节假日类型、促销日类型及平常日类型。具体的,例如若待预测时间为4月1日,则该待预测时间为月初类型;若待预测时间为10月1日,则该待预测时间为节假日类型;若待预测时间为11月11日,则该待预测时间为促销日类型。
进一步的,不同的日期类型对应不同的耗时预测模型,耗时预测模型为预先建立的神经网络模块,用于对批量作业运行时间进行预测。
作为本发明的一个实施例,如图2所示,耗时预测模型是通过如下方式预先建立的:
步骤S21,获取历史批量作业的历史基本数据及历史耗时数据;其中,所述历史基本数据包括历史作业类型、历史作业量及历史运行日期;
步骤S22,根据所述历史运行日期,对所述历史批量作业的历史基本数据及历史耗时数据进行日期类型划分;
步骤S23,将所述日期类型对应的所述历史批量作业的历史基本数据及历史耗时数据作为训练样本数据,对预设的初始神经网络模型进行训练,得到与所述日期类型对应的耗时预测模型。
其中,根据不同的日期类型,即月初类型、节假日类型、促销日类型、平常日类型四种时间段,对批量作业耗时点预测的模型训练过程具体包括:
通过查询数据库或者日志获取月初(每个月的前5天)、节假日(春节、元旦、清明、五一、端午、中秋、国庆)、促销日(6.18、11.11、12.12),平常日(去除前三种时间段外,剩余的日期)四种时间段批量作业耗时历史数据,作为历史批量作业的历史基本数据及历史耗时数据。根据不同的历史运行日期,对历史批量作业的历史基本数据及历史耗时数据进行日期类型划分。由此避免了由于未按照月初、节假日、电商促销日及平常日分别进行预测,由于这四种时间段,产生的交易数据量不同,批量依赖的因此批量作业耗时也迥然不同,进而导致批量作业耗时预测不准确的问题。
在本实施例中,如图3所示,获取历史批量作业的历史耗时数据包括:
步骤S31,获取历史批量作业历史耗时数据,并利用中值滤波方式,根据预设窗口宽度对所述历史耗时数据进行异常值识别;
步骤S32,利用预设窗口宽度确定所述历史耗时数据的窗口元素中值,并使用所述窗口元素中值替换识别到的异常值。
其中,通过利用中值滤波方式进行异常值的识别与替换,可以避免因为没有剔除发生异常事件,从而会导致批量耗时的预测值与实际值误差较大的问题。
具体的,对各类型历史耗时数据分别通过hampel滤波,识别由于变更、集群问题、系统和网络问题等异常事件导致批量耗时较长的异常值。具体的,y=hample(x)用一个一维向量x={x1,x2...xn}表示某一类批量作业耗时的序列,对输入向量x进行hample滤波,检测和删除异常值。围绕每个元素生成观测窗口,假设半个窗口宽度为k,整个窗口的宽度为2k+1(包含中心的那个元素),计算该窗口中所有元素的中值,并利用中位数的绝对值估计各样本对中值的标准差,如果某个样本与中值相差超过三个标准差,则用窗口的中值替换样本。
在本实施例中,如图4所示,对预设的初始神经网络模型进行训练,得到与所述日期类型对应的耗时预测模型包括:
步骤S41,利用所述训练样本数据,对所述初始神经网络模型进行预设训练次数的训练,每次模型训练对应不同的模型隐层节点数量,得到每次模型训练对应的输出值及其平均值;
步骤S42,根据所述训练样本数据及每次模型训练对应的平均值,确定每次模型训练对应的均方根误差及平均绝对百分比误差;
步骤S43,根据所述均方根误差及平均绝对百分比误差,确定与耗时预测模型相对应的模型隐层节点数量,以得到与所述日期类型对应的耗时预测模型。
其中,利用对应于日期类型,且滤波后的训练样本,训练初始神经网络模型效果达到最优。具体的,模型隐层节点的数量根据试错方法设置,模型运行一定的次数(如100次),平均值作为结果,为了评估批量作业耗时点预测的精度,选取最优模型,评价指标可以选取均方根误差(RMSE)和平均绝对百分比误差(MAPE),计算公式如下所示。其中,N是测试集的大小,
Figure BDA0003374231550000081
和yt分别是在时间t时批量作业耗时的预测值与真实值,当均方根误差(RMSE)和平均绝对百分比误差(MAPE)两个值均较小时,此模型为最优模型,作为与日期类型对应的耗时预测模型。
Figure BDA0003374231550000082
Figure BDA0003374231550000083
作为本发明的一个实施例,如图5所示,根据所述误差值确定所述误差值的置信区间,并利用所述误差值的置信区间,确定所述待预测批量作业的运行耗时区间包括:
步骤S51,根据所述误差值确定其对应的平均值及标准差,并根据所述误差值对应的平均值及标准差,确定所述误差值的置信区间;
步骤S52,利用所述误差值的置信区间及所述耗时预测值,确定所述待预测批量作业的运行耗时区间。
其中,其中,将误差值视为正态分布运用统计学理论基于95%的置信水平,计算误差值的置信区间,如误差值x的平均值为u,标准误差σ,则误差值x的置信区间为[u-1.96σ,u+1.96σ]。
具体的,得到误差值的置信区间后,可以计算出每一个耗时预测值的运行耗时区间。求取多个耗时预测值运行耗时区间的并集,将其作为待预测批量作业的运行耗时区间。即通过误差值的置信区间,求出批量作业耗时y的波动范围[y-u-1.96σ,y-u+1.96σ],将其作为待预测批量作业的运行耗时区间。
作为本发明的一个实施例,方法还包括:利用所述待预测批量作业的运行耗时区间进行批量业务数据的监控。实现在批量作业处理时,高效、准确的对业务数据(例如报表)进行监控,提高批量作业处理的效率与准确性。
本发明实施例为了快速定位银行批量作业耗时是否异常,减少批量作业监控误报和漏报的情况,进而更精准的分析批量作业运行的性能容量。本发明按照月初、节假日、电商促销日,平常日四种时间段,针对历史批量作业耗时数据进行分类,通过hampel滤波剔除历史批量作业耗时的异常数据进行数据预处理,通过BP(back propagation)神经网络智能算法得到耗时预测模型。利用耗时预测模型,计算批量耗时预测值和历史耗时值误差的置信区间,最后根据误差值的置信区间,得到批量耗时波动的范围,即待预测批量作业的运行耗时区间,实现更加精准的对批量作业运行的性能进行监控。
本发明一方面通过剔除由于异常事件导致批量作业耗时较长的数据,进而减少预测值的误差。另外一方面结合月初、节假日、电商促销日、平常日四个不同阶段的预测值,制定不同时间段批量作业运行耗时监控的策略,从而更加精准的进行预测,有效避免误报和漏报的风险;最后一方面通过预测批量作业耗时的区间,不仅能够获得相关批量作业耗时波动的正常范围,而且实现对批量作业运行的性能容量达到更加精准的监控。
如图6所示为本发明实施例一种批量作业运行耗时区间确定装置的结构示意图,图中所示装置包括:
数据获取模块10,用于获取待预测批量作业的基本数据及待预测时间,并根据所述待预测时间,获取与所述待预测时间对应的耗时预测模型。
其中,待预测批量作业的基本数据包括作业类型及作业量,待预测时间可以为具体日期。具体的,日期类型包括月初类型、节假日类型、促销日类型及平常日类型。
进一步的,不同的日期类型对应不同的耗时预测模型,耗时预测模型为预先建立的神经网络模块,用于对批量作业运行时间进行预测。
耗时预测模块20,用于将所述待预测批量作业的基本数据输入至所述耗时预测模型中进行预设次数的耗时预测,得到多个耗时预测值。
其中,将待预测批量作业的基本数据输入至对应的耗时预测模型中,由耗时预测模型进行预设次数计算,例如,100次,由此得到多个耗时预测值。
误差值模块30,用于获取与所述待预测批量作业相对应的历史耗时值,确定所述历史耗时值与所述耗时预测值的误差值。
其中,不同类型的批量作业,在同一的日期类型下,均具有历史实际耗时,可存储于数据库或其他存储设备中。历史实际耗时可以为单日耗时或多日平均耗时,可以作为待预测批量作业相对应的历史耗时值。
进一步的,以待预测批量作业相对应的历史耗时值作为参照,计算历史耗时值与耗时预测值之间的误差。具体的,可以求得各个耗时预测值与历史耗时值之间的差值,将差值的绝对值作为误差值,得到多个误差值。
耗时区间模块40,用于根据所述误差值确定所述误差值的置信区间,并利用所述误差值的置信区间,确定所述待预测批量作业的运行耗时区间。
其中,将误差值视为正态分布运用统计学理论基于95%的置信水平,计算误差值的置信区间,如计算误差值的平均值及标准误差,则能得到误差值的置信区间。
进一步的,通过误差值的置信区间,求出批量作业耗时的波动范围,将其作为待预测批量作业的运行耗时区间。
具体的,得到误差值的置信区间后,可以计算出每一个耗时预测值的运行耗时区间。求取多个耗时预测值运行耗时区间的并集,将其作为待预测批量作业的运行耗时区间。
作为本发明的一个实施例,所述数据获取模块还用于根据所述待预测时间的日期类型,获取与所述待预测时间的日期类型相对应的耗时预测模型;其中,所述日期类型包括月初类型、节假日类型、促销日类型及平常日类型。
作为本发明的一个实施例,如图7所示,所述装置还包括模型建立模块50,用于获取历史批量作业的历史基本数据及历史耗时数据;其中,所述历史基本数据包括历史作业类型、历史作业量及历史运行日期;根据所述历史运行日期,对所述历史批量作业的历史基本数据及历史耗时数据进行日期类型划分;将所述日期类型对应的所述历史批量作业的历史基本数据及历史耗时数据作为训练样本数据,对预设的初始神经网络模型进行训练,得到与所述日期类型对应的耗时预测模型。
在本实施例中,如图8所示,所述模型建立模块50包括:
异常值识别单元51,用于获取历史批量作业历史耗时数据,并利用中值滤波方式,根据预设窗口宽度对所述历史耗时数据进行异常值识别;
异常值替换单元52,用于利用预设窗口宽度确定所述历史耗时数据的窗口元素中值,并使用所述窗口元素中值替换识别到的异常值。
在本实施例中,如图9所示,模型建立模块50还包括:
模型训练单元53,用于利用所述训练样本数据,对所述初始神经网络模型进行预设训练次数的训练,每次模型训练对应不同的模型隐层节点数量,得到每次模型训练对应的输出值及其平均值;
误差计算单元54,用于根据所述训练样本数据及每次模型训练对应的平均值,确定每次模型训练对应的均方根误差及平均绝对百分比误差;
隐层节点单元55,用于根据所述均方根误差及平均绝对百分比误差,确定与耗时预测模型相对应的模型隐层节点数量,以得到与所述日期类型对应的耗时预测模型。
作为本发明的一个实施例,如图10所示,耗时区间模块40包括:
置信区间单元41,用于根据所述误差值确定其对应的平均值及标准差,并根据所述误差值对应的平均值及标准差,确定所述误差值的置信区间;
耗时区间单元42,用于利用所述误差值的置信区间及所述耗时预测值,确定所述待预测批量作业的运行耗时区间。
作为本发明的一个实施例,如图11所示,装置还包括监控模块60,用于利用所述待预测批量作业的运行耗时区间进行批量业务数据的监控。
基于与上述一种批量作业运行耗时区间确定方法相同的申请构思,本发明还提供了上述一种批量作业运行耗时区间确定装置。由于该一种批量作业运行耗时区间确定装置解决问题的原理与一种批量作业运行耗时区间确定方法相似,因此该一种批量作业运行耗时区间确定装置的实施可以参见一种批量作业运行耗时区间确定方法的实施,重复之处不再赘述。
本发明通过精准的确定批量作业的耗时区间,减少批量作业监控误报和漏报的风险,能够获得相关批量作业耗时波动的正常范围,实现对批量作业运行的性能容量达到更加精准的监控。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述方法的计算机程序。
如图12所示,该电子设备600还可以包括:通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是,电子设备600也并不是必须要包括图12中所示的所有部件;此外,电子设备600还可以包括图12中没有示出的部件,可以参考现有技术。
如图12所示,中央处理器100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中,存储器140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序,以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142,该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143,该数据存储部143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132,以经由扬声器131提供音频输出,并接收来自麦克风132的音频输入,从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器130还耦合到中央处理器100,从而使得可以通过麦克风132能够在本机上录音,且使得可以通过扬声器131来播放本机上存储的声音。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种批量作业运行耗时区间确定方法,其特征在于,所述方法包括:
获取待预测批量作业的基本数据及待预测时间,并根据所述待预测时间,获取与所述待预测时间对应的耗时预测模型;
将所述待预测批量作业的基本数据输入至所述耗时预测模型中进行预设次数的耗时预测,得到多个耗时预测值;
获取与所述待预测批量作业相对应的历史耗时值,确定所述历史耗时值与所述耗时预测值的误差值;
根据所述误差值确定所述误差值的置信区间,并利用所述误差值的置信区间,确定所述待预测批量作业的运行耗时区间。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待预测时间,获取与所述待预测时间对应的耗时预测模型包括:
根据所述待预测时间的日期类型,获取与所述待预测时间的日期类型相对应的耗时预测模型;其中,所述日期类型包括月初类型、节假日类型、促销日类型及平常日类型。
3.根据权利要求1所述的方法,其特征在于,通过如下方式预先建立所述耗时预测模型:
获取历史批量作业的历史基本数据及历史耗时数据;其中,所述历史基本数据包括历史作业类型、历史作业量及历史运行日期;
根据所述历史运行日期,对所述历史批量作业的历史基本数据及历史耗时数据进行日期类型划分;
将所述日期类型对应的所述历史批量作业的历史基本数据及历史耗时数据作为训练样本数据,对预设的初始神经网络模型进行训练,得到与所述日期类型对应的耗时预测模型。
4.根据权利要求3所述的方法,其特征在于,所述获取历史批量作业的历史耗时数据包括:
获取历史批量作业历史耗时数据,并利用中值滤波方式,根据预设窗口宽度对所述历史耗时数据进行异常值识别;
利用预设窗口宽度确定所述历史耗时数据的窗口元素中值,并使用所述窗口元素中值替换识别到的异常值。
5.根据权利要求3所述的方法,其特征在于,所述对预设的初始神经网络模型进行训练,得到与所述日期类型对应的耗时预测模型包括:
利用所述训练样本数据,对所述初始神经网络模型进行预设训练次数的训练,每次模型训练对应不同的模型隐层节点数量,得到每次模型训练对应的输出值及其平均值;
根据所述训练样本数据及每次模型训练对应的平均值,确定每次模型训练对应的均方根误差及平均绝对百分比误差;
根据所述均方根误差及平均绝对百分比误差,确定与耗时预测模型相对应的模型隐层节点数量,以得到与所述日期类型对应的耗时预测模型。
6.根据权利要求1所述的方法,其特征在于,所述根据所述误差值确定所述误差值的置信区间,并利用所述误差值的置信区间,确定所述待预测批量作业的运行耗时区间包括:
根据所述误差值确定其对应的平均值及标准差,并根据所述误差值对应的平均值及标准差,确定所述误差值的置信区间;
利用所述误差值的置信区间及所述耗时预测值,确定所述待预测批量作业的运行耗时区间。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:利用所述待预测批量作业的运行耗时区间进行批量业务数据的监控。
8.一种批量作业运行耗时区间确定装置,其特征在于,所述装置包括:
数据获取模块,用于获取待预测批量作业的基本数据及待预测时间,并根据所述待预测时间,获取与所述待预测时间对应的耗时预测模型;
耗时预测模块,用于将所述待预测批量作业的基本数据输入至所述耗时预测模型中进行预设次数的耗时预测,得到多个耗时预测值;
误差值模块,用于获取与所述待预测批量作业相对应的历史耗时值,确定所述历史耗时值与所述耗时预测值的误差值;
耗时区间模块,用于根据所述误差值确定所述误差值的置信区间,并利用所述误差值的置信区间,确定所述待预测批量作业的运行耗时区间。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至7任一项所述方法的计算机程序。
CN202111412924.9A 2021-11-25 2021-11-25 批量作业运行耗时区间确定方法及装置 Pending CN114066089A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111412924.9A CN114066089A (zh) 2021-11-25 2021-11-25 批量作业运行耗时区间确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111412924.9A CN114066089A (zh) 2021-11-25 2021-11-25 批量作业运行耗时区间确定方法及装置

Publications (1)

Publication Number Publication Date
CN114066089A true CN114066089A (zh) 2022-02-18

Family

ID=80276176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111412924.9A Pending CN114066089A (zh) 2021-11-25 2021-11-25 批量作业运行耗时区间确定方法及装置

Country Status (1)

Country Link
CN (1) CN114066089A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114938339A (zh) * 2022-05-19 2022-08-23 中国农业银行股份有限公司 一种数据处理方法和相关装置
CN116308215A (zh) * 2023-05-17 2023-06-23 云账户技术(天津)有限公司 一种组批出款信息的生成方法、装置及相关设备

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771758A (zh) * 2008-12-31 2010-07-07 北京亿阳信通软件研究院有限公司 一种性能指标值正常波动范围的动态确定方法及其装置
CN102072922A (zh) * 2009-11-25 2011-05-25 东北林业大学 基于粒子群优化神经网络模型的木材含水率检测方法
CN103745279A (zh) * 2014-01-24 2014-04-23 广东工业大学 一种能耗异常监测方法及装置
CN104239194A (zh) * 2014-09-12 2014-12-24 上海交通大学 基于bp神经网络的任务完成时间预测方法
CN104636479A (zh) * 2015-02-15 2015-05-20 西安电子科技大学 一种工业大数据驱动的总完工时间预测方法
CN105423770A (zh) * 2015-11-12 2016-03-23 中国石油化工股份有限公司 一种炼化装置加热炉炉管清焦时间的预测方法
US10078520B1 (en) * 2017-03-16 2018-09-18 Flexera Software Llc Calculating wait time for batch scheduler jobs
CN108805333A (zh) * 2018-05-08 2018-11-13 中国银行股份有限公司 核心银行系统的批量操作运行耗时预测方法及装置
CN109002937A (zh) * 2018-09-07 2018-12-14 深圳供电局有限公司 电网负荷预测方法、装置、计算机设备和存储介质
CN109118027A (zh) * 2018-09-30 2019-01-01 广东小天才科技有限公司 电量预测模型训练方法、电量预测方法、智能设备及系统
CN109272156A (zh) * 2018-09-12 2019-01-25 河海大学 一种超短期风电功率概率预测方法
CN109444957A (zh) * 2018-10-10 2019-03-08 广州海洋地质调查局 基于决策树评价的水合物储层地震预测方法及处理终端
CN110990135A (zh) * 2019-11-28 2020-04-10 中国人民解放军国防科技大学 基于深度迁移学习的Spark作业时间预测方法和装置
CN111414999A (zh) * 2020-04-27 2020-07-14 新智数字科技有限公司 一种设备运行状态的监测方法及装置
CN111985646A (zh) * 2020-09-02 2020-11-24 中国银行股份有限公司 一种业务处理方法及装置
CN112035324A (zh) * 2020-09-03 2020-12-04 中国银行股份有限公司 批量作业执行情况监控方法及装置
CN112580784A (zh) * 2020-12-16 2021-03-30 哈尔滨电站设备成套设计研究所有限公司 基于多输入多输出卷积神经网络的设备智能预警方法
CN112699946A (zh) * 2020-12-31 2021-04-23 湖南工商大学 一种针对传感监测数据的异常检测方法、装置及相关设备
CN112821383A (zh) * 2021-01-04 2021-05-18 国网重庆市电力公司 一种基于深度学习的电力系统自然频率特性系数区间预测方法
CN112926555A (zh) * 2021-04-28 2021-06-08 南京邮电大学 一种基于自编码器数据增强的小样本无源行为感知方法
CN112949915A (zh) * 2021-02-08 2021-06-11 南京航空航天大学 一种基于动态排序的进场航班落地时间预测方法
CN113128797A (zh) * 2019-12-30 2021-07-16 中国移动通信集团浙江有限公司 业务指标异常监测方法及装置
CN113268929A (zh) * 2021-06-08 2021-08-17 广西电网有限责任公司南宁供电局 短期负荷区间预测方法及装置
CN113435587A (zh) * 2021-03-25 2021-09-24 北京瑞莱智慧科技有限公司 基于时间序列的任务量预测方法、装置、电子设备及介质

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771758A (zh) * 2008-12-31 2010-07-07 北京亿阳信通软件研究院有限公司 一种性能指标值正常波动范围的动态确定方法及其装置
CN102072922A (zh) * 2009-11-25 2011-05-25 东北林业大学 基于粒子群优化神经网络模型的木材含水率检测方法
CN103745279A (zh) * 2014-01-24 2014-04-23 广东工业大学 一种能耗异常监测方法及装置
CN104239194A (zh) * 2014-09-12 2014-12-24 上海交通大学 基于bp神经网络的任务完成时间预测方法
CN104636479A (zh) * 2015-02-15 2015-05-20 西安电子科技大学 一种工业大数据驱动的总完工时间预测方法
CN105423770A (zh) * 2015-11-12 2016-03-23 中国石油化工股份有限公司 一种炼化装置加热炉炉管清焦时间的预测方法
US10078520B1 (en) * 2017-03-16 2018-09-18 Flexera Software Llc Calculating wait time for batch scheduler jobs
CN108805333A (zh) * 2018-05-08 2018-11-13 中国银行股份有限公司 核心银行系统的批量操作运行耗时预测方法及装置
CN109002937A (zh) * 2018-09-07 2018-12-14 深圳供电局有限公司 电网负荷预测方法、装置、计算机设备和存储介质
CN109272156A (zh) * 2018-09-12 2019-01-25 河海大学 一种超短期风电功率概率预测方法
CN109118027A (zh) * 2018-09-30 2019-01-01 广东小天才科技有限公司 电量预测模型训练方法、电量预测方法、智能设备及系统
CN109444957A (zh) * 2018-10-10 2019-03-08 广州海洋地质调查局 基于决策树评价的水合物储层地震预测方法及处理终端
CN110990135A (zh) * 2019-11-28 2020-04-10 中国人民解放军国防科技大学 基于深度迁移学习的Spark作业时间预测方法和装置
CN113128797A (zh) * 2019-12-30 2021-07-16 中国移动通信集团浙江有限公司 业务指标异常监测方法及装置
CN111414999A (zh) * 2020-04-27 2020-07-14 新智数字科技有限公司 一种设备运行状态的监测方法及装置
CN111985646A (zh) * 2020-09-02 2020-11-24 中国银行股份有限公司 一种业务处理方法及装置
CN112035324A (zh) * 2020-09-03 2020-12-04 中国银行股份有限公司 批量作业执行情况监控方法及装置
CN112580784A (zh) * 2020-12-16 2021-03-30 哈尔滨电站设备成套设计研究所有限公司 基于多输入多输出卷积神经网络的设备智能预警方法
CN112699946A (zh) * 2020-12-31 2021-04-23 湖南工商大学 一种针对传感监测数据的异常检测方法、装置及相关设备
CN112821383A (zh) * 2021-01-04 2021-05-18 国网重庆市电力公司 一种基于深度学习的电力系统自然频率特性系数区间预测方法
CN112949915A (zh) * 2021-02-08 2021-06-11 南京航空航天大学 一种基于动态排序的进场航班落地时间预测方法
CN113435587A (zh) * 2021-03-25 2021-09-24 北京瑞莱智慧科技有限公司 基于时间序列的任务量预测方法、装置、电子设备及介质
CN112926555A (zh) * 2021-04-28 2021-06-08 南京邮电大学 一种基于自编码器数据增强的小样本无源行为感知方法
CN113268929A (zh) * 2021-06-08 2021-08-17 广西电网有限责任公司南宁供电局 短期负荷区间预测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈科宇: "考虑不确定性影响的公交到站时间区间预测方法研究"", 中国优秀硕士学位论文全文数据库 工程科技II 辑, 15 December 2018 (2018-12-15), pages 034 - 462 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114938339A (zh) * 2022-05-19 2022-08-23 中国农业银行股份有限公司 一种数据处理方法和相关装置
CN116308215A (zh) * 2023-05-17 2023-06-23 云账户技术(天津)有限公司 一种组批出款信息的生成方法、装置及相关设备
CN116308215B (zh) * 2023-05-17 2023-07-21 云账户技术(天津)有限公司 一种组批出款信息的生成方法、装置及相关设备

Similar Documents

Publication Publication Date Title
CN109495318B (zh) 一种移动通信网络流量预测方法、装置及可读存储介质
CN109242135B (zh) 一种模型运营方法、装置、及业务服务器
CN114066089A (zh) 批量作业运行耗时区间确定方法及装置
CN108446795B (zh) 电力系统负荷波动分析方法、装置及可读存储介质
US11265688B2 (en) Systems and methods for anomaly detection and survival analysis for physical assets
CN113672600B (zh) 一种异常检测方法及系统
CN114202256B (zh) 架构升级预警方法、装置、智能终端及可读存储介质
CN115860800A (zh) 一种节假日商品销量预测方法、装置及计算机存储介质
CN109658643B (zh) 支付风险告警方法、服务器及智能pos
CN118053125A (zh) 一种工程进度可视化图像监督方法、装置、设备及介质
CN114092275A (zh) 企业经营异常监测方法、装置、计算机设备和存储介质
CN110858355A (zh) 项目预算结余预测方法及装置
CN112085497A (zh) 用户账户数据的处理方法及装置
CN116167646A (zh) 基于交易算法的评价方法、装置、设备及存储介质
CN115858291A (zh) 一种系统指标的检测方法、装置、电子设备及其存储介质
CN111915340A (zh) 商户类型的识别方法、装置、设备及存储介质
JP7499597B2 (ja) 学習モデル構築システムおよびその方法
JP2004272674A (ja) 予測システム及び予測方法
CN114331688A (zh) 一种银行柜面系统业务批量运行状态检测方法及装置
CN113129127A (zh) 预警方法和装置
CN112764957A (zh) 应用故障定界方法及装置
CN118189074B (zh) 漏损检测方法、装置、计算机可读存储介质及终端设备
CN111932018B (zh) 银行业务绩效贡献信息预测方法及装置
CN118132091A (zh) 业务模型的处理方法、装置、计算机设备和存储介质
CN112308295B (zh) 违约概率预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination