CN113032239A - 风险提示方法、装置、电子设备及存储介质 - Google Patents

风险提示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113032239A
CN113032239A CN202110588314.8A CN202110588314A CN113032239A CN 113032239 A CN113032239 A CN 113032239A CN 202110588314 A CN202110588314 A CN 202110588314A CN 113032239 A CN113032239 A CN 113032239A
Authority
CN
China
Prior art keywords
prediction
index
data
predicted
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110588314.8A
Other languages
English (en)
Inventor
易存道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baolande Software Co ltd
Original Assignee
Beijing Baolande Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baolande Software Co ltd filed Critical Beijing Baolande Software Co ltd
Priority to CN202110588314.8A priority Critical patent/CN113032239A/zh
Publication of CN113032239A publication Critical patent/CN113032239A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447Performance evaluation by modeling

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种风险提示方法、装置、电子设备及存储介质,该方法包括:确定目标预测任务,所述目标预测任务包括一项或多项待预测的业务量指标及其预测时间维度和计划预测时段;对任一项待预测业务量指标,根据所述目标预测任务,从预设的数据库中选取所述业务量指标的相应时间维度、计划预测时段的预设倍量和预设级别的历史运维数据,以作为训练样本数据;通过auto_arima机器学习算法对训练样本数据实时进行特征提取、分析和训练,获得该业务量指标的指标预测模型;基于指标预测模型对待预测业务量指标进行预测,获得相应的指标预测结果;当指标预测结果大于或等于历史运维数据中该业务量指标的历史均值时,发出风险预警提示信息。

Description

风险提示方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机数据处理技术领域,具体涉及一种风险提示方法、装置、电子设备及存储介质。
背景技术
计算机软件行业快速发展、进步,而基于计算机部署的众多业务系统也愈加复杂化,且各种业务系统所需承受的负载越来越大。众所周知,当一个业务系统的负载超过其最大承受能力时,该业务系统将会存在陷入宕机甚至瘫痪的风险,从而给相关用户带来巨大的数据损失,甚至经济损失。
目前的业务系统,大多都不具备提前感知未来负载超额风险以及对风险预警的能力。因此,一旦发生上述问题,则会造成不可估量的巨大损失。
现有技术也有提出通过计算预测的业务量均值、方差和误差值等数据,并根据真实业务量偏离历史均值的幅度来检测异常。这种方法操作过于简单且准确度较低。
发明内容
本发明提供一种风险提示方法、装置、电子设备及存储介质,用以克服现有技术中系统缺乏感知未来负载超额风险以及对风险预警能力以及现有检测异常方法准确度较低等缺陷,能够准确预测系统业务量指标数据并有效预警提示。
本发明提供一种风险提示方法,包括:
确定目标预测任务,所述目标预测任务包括一项或多项待预测的业务量指标及其预测时间维度和计划预测时段;
对任一项待预测业务量指标,根据所述目标预测任务,从预设的数据库中选取所述业务量指标的相应时间维度、计划预测时段的预设倍量或预设级别的历史运维数据,以作为训练样本数据;
通过auto_arima机器学习算法对所述训练样本数据实时进行特征提取、分析和训练,获得该业务量指标的指标预测模型;
基于所述指标预测模型对所述待预测业务量指标进行预测,获得相应的指标预测结果;
当所述指标预测结果大于或等于历史运维数据中该业务量指标的历史均值时,发出风险预警提示信息。
根据本发明提供的风险提示方法,所述基于所述指标预测模型对所述待预测业务量指标进行预测,获得相应的指标预测结果,具体包括:
通过自由切换设置或分布式定时设置,从多种预测模式中确定一种预测模式;其中,所述多种预测模式至少包括连续时长预测模式和指定时间范围预测模式;
根据确定的预测模式,基于所述指标预测模型对所述待预测业务量指标进行预测,获得相应的指标预测结果。
根据本发明提供的风险提示方法,当所述待预测的业务量指标为多项时,所述目标预测任务至少包括待预测的多项业务量指标及各业务量指标的预测时间维度和计划预测时段;
相应地,根据所述目标预测任务,从预设的数据库中分别选取所述多项业务量指标的相应时间维度、相应计划预测时段预设倍量或预设级别的历史运维数据,以分别作为各自的训练样本数据;
通过auto_arima机器学习算法分别对各所述训练样本数据实时进行特征提取、分析和训练,获得所述多项业务量指标各自对应的指标预测模型;
基于各所述指标预测模型分别对待预测的多项业务量指标进行预测,以分别获得各自相应的指标预测结果,并按照预设权重比例将各所述指标预测结果进行加权汇总,获得指标综合预测结果;
当所述指标综合预测结果大于或等于历史运维数据中所述多项业务量指标的综合历史均值时,发出风险预警提示信息。
根据本发明提供的风险提示方法,通过auto_arima机器学习算法对所述训练样本数据实时进行特征提取、分析和训练,获得该业务量指标的指标预测模型,具体包括:
将所述训练样本数据依时间顺序排成数据序列,并将所述数据序列进行平稳化处理,获得平稳化数据序列;
对所述平稳化数据序列中预设训练比例的训练数据实时进行特征提取、分析和训练,获得若干预测算法模型;
计算各预测算法模型的对称平均绝对百分比误差,并从所述若干预测算法模型中筛选出对称平均绝对百分比误差最小的预测算法模型,以作为该业务量指标的指标预测模型。
根据本发明提供的风险提示方法,在通过auto_arima机器学习算法对所述训练样本数据实时进行特征提取、分析和训练,获得该业务量指标的指标预测模型之后,所述方法还包括:
根据训练样本数据中预设测试比例的测试数据,对所述指标预测模型进行测试以获得测试结果;
根据测试结果反向调整选取的历史运维数据的计划预测时段的预设倍量。
根据本发明提供的风险提示方法,根据测试结果反向调整选取的历史运维数据的计划预测时段的预设倍量,具体包括:
根据测试结果计算所述指标预测模型的对称平均绝对误差,根据所述对称平均绝对误差确定该指标预测模型的预测结果准确率;
若所述预测结果准确率低于预设准确率,则反向调整以减小选取的历史运维数据的计划预测时段的预设倍量。
根据本发明所提供的风险提示方法,在所述确定目标预测任务,所述目标预测任务包括一项或多项待预测的业务量指标及其预测时间维度和计划预测时段,之前,所述方法还包括:
获取多项业务量指标的历史运维数据,将所述历史运维数据按不同的时间维度分类汇聚,并分类存储至数据库中。
本发明还提供一种风险提示装置,包括:
任务确定模块,用于确定目标预测任务,所述目标预测任务包括一项或多项待预测的业务量指标及其预测时间维度和计划预测时段;
样本确模块,用于对任一项待预测业务量指标,根据所述目标预测任务,从预设的数据库中选取所述业务量指标的相应时间维度、计划预测时段的预设倍量或预设级别的历史运维数据,以作为训练样本数据;
训练模块,用于通过auto_arima机器学习算法对所述训练样本数据实时进行特征提取、分析和训练,获得该业务量指标的指标预测模型;
预测模块,用于基于所述指标预测模型对所述待预测业务量指标进行预测,获得相应的指标预测结果;
预警模块,用于当所述指标预测结果大于或等于历史运维数据中该业务量指标的历史均值时,发出风险预警提示信息。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现根据如上任一项所述风险提示方法的全部或部分步骤。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现根据如上任一项所述风险提示方法的全部或部分步骤。
本发明提供了一种风险提示方法、装置、电子设备及存储介质,应用于对系统业务量指标数据预测和风险预警的过程中, 该方法通过auto_arima机器学习算法并结合相关历史运维数据实时动态地训练出精确的指标预测模型,并基于该实时训练出的指标预测模型对待预测的业务量指标的数据进行预测,还根据指标预测结果与历史运维数据中该业务量指标的历史均值的比较,判断是否有异常风险以及发出风险预警提示信息,该方法预测精准度高且还能提前预警,以使相关运维人员能够提前作出应对措施,防止风险真正发生,避免造成损失。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1是本发明提供的风险提示方法的流程图之一;
图2是本发明提供的风险提示方法的流程图之二;
图3是本发明提供的风险提示方法的流程图之三;
图4是本发明提供的风险提示方法的流程图之四;
图5是本发明提供的风险提示装置的结构示意图;
图6是本发明提供的电子设备的结构示意图。
附图标记:
510:任务确定模块;520:样本确定模块; 530训练模块;
540:预测模块; 550:预警模块;
610:处理器; 620:通信接口; 630:存储器;
640:通信总线。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明的技术方案进行清除完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下结合附图1-6描述本发明提供的风险提示方法、装置、电子设备及存储介质。
本发明提供一种风险提示方法,应用于对系统业务量指标数据预测和风险预警的过程中,图1是本发明提供的风险提示方法的流程图之一,如图1所示,所述方法包括:
100、确定目标预测任务,所述目标预测任务包括一项或多项待预测的业务量指标及其预测时间维度和计划预测时段;
200、对任一项待预测业务量指标,根据所述目标预测任务,从预设的数据库中选取所述业务量指标的相应时间维度、计划预测时段的预设倍量和预设级别的历史运维数据,以作为训练样本数据;
300、通过auto_arima机器学习算法对所述训练样本数据实时进行特征提取、分析和训练,获得该业务量指标的指标预测模型;
400、基于所述指标预测模型对所述待预测业务量指标进行预测,获得相应的指标预测结果;
500、当所述指标预测结果大于或等于历史运维数据中该业务量指标的历史均值时,发出风险预警提示信息。
本发明提供的风险提示方法中,系统指的是进行数据处理的应用、集群、网络设备和存储设备等等。首先采集当前系统的多项业务量指标的历史运维数据,历史运维数据则包括该业务量指标的多个历史时刻的数据值和各时刻对应的动态阈值等等。而具体业务量指标可以是活动请求数、平均响应时长等等。
在进行步骤100、确定目标预测任务之前,还可以对数据库进行预先设定。采集多项业务量指标的历史运维数据,将所述历史运维数据按不同的时间维度分类汇聚后分类存储至数据库中。具体地,可以采用自研监控产品监控并采集系统的多项业务量指标的历史运维数据,或者通过第三方接口上报的方式来获取多项业务量指标的历史运维数据。在获取到多项业务量指标的历史运维数据之后,利用spark任务将所有的历史运维数据进行分类汇聚,汇聚分类的依据是时间维度的不同,而时间维度分为时维度、天维度、周维度和月维度等等,分类汇聚完后,再通过Kafka-Sink组件将各维度的历史运维数据分别存储至数据库里各自对应维度的数据表中。
然后确定目标预测任务,所述目标预测任务包括一项或多项待预测的业务量指标,每项待预测的业务量指标还同时限定了预测时间维度和计划预测时段。比如想要预测活动请求数这一业务量指标在未来连续一周的业务量指标数据,则该目标预测任务的待预测业务量指标为活动请求数,其预测时间维度为周维度,其计划预测时段为未来一周的时间段。
然后对任一项待预测业务量指标,根据所述目标预测任务,从所述预先设定好的数据库中,选取所述业务量指标的相应时间维度、计划预测时段的预设倍量和预设级别的历史运维数据,以作为训练样本数据。计划预测时段的预设倍量或预设级别的历史运维数据中,预设倍量和预设级别均可以根据实际情况提前进行设定。比如,预设倍量设为默认10倍,预设级别设为默认同维度级别,周维度时则对应周数据级别。本实施例仅以一个待预测业务量指标为例进行说明。对待预测业务量指标——活动请求数,根据上述的目标预测任务的限定,从所述数据库中选取活动请求数的周维度的、10周量(一周的10倍)和周数据级别的历史运维数据,以作为训练样本数据。而待预测业务量指标为多个时,则分别对每一个待预测业务量指标进行上述操作。
通过auto_arima机器学习算法对所述训练样本数据实时进行特征提取、分析和训练,获得同一业务量指标的指标预测模型。当然可能会获得该业务量指标的若干个预测算法模型,进而可以根据对称平均绝对百分比误差smape这一回归类模型评价指标,从中选择出最优的预测算法模型,以作为最终的该业务量指标的指标预测模型。多项待预测业务量指标时,则分别进行模型训练并分别获得各个业务量指标相应的指标预测模型。
再基于实时训练出来的该业务量指标的指标预测模型,对活动请求数这一业务量指标在未来某一时刻或指定长度的时间点的业务量指标的数据值进行预测,进而获得相应的活动请求数的指标预测结果。并且,还可以将所获得的相应的业务量指标的指标预测结果按照预设的接口格式进行封装,实时返回给业务系统后台。多项待预测业务量指标时,则分别基于各个业务量指标相应的指标预测模型对各个指标进行未来时间的业务量指标的数据值进行预测,分别获得相应的指标预测结果。
还将基于该模型预测出的活动请求数的指标预测结果,与历史运维数据中该业务量指标的历史均值进行比较,当所述指标预测结果大于或等于历史运维数据中该业务量指标的历史均值时,判定存在异常风险,进而发出风险预警提示信息。此过程可以由业务系统后台来执行。多项待预测业务量指标时,则若多个指标预测结果中有一个以上的异常数据,则判定存在异常风险,进而发出风险预警提示信息。
本发明提供的风险提示方法,应用于对系统业务量指标数据预测和风险预警的过程中,该方法通过auto_arima机器学习算法并结合相关历史运维数据实时动态地训练出精确的指标预测模型,并基于该实时训练出的指标预测模型对待预测的业务量指标的数据进行预测,还根据指标预测结果与历史运维数据中该业务量指标的历史均值的比较,判断是否有异常风险以及发出风险预警提示信息,该方法预测精准度高且还能提前发出风险预警提示信息,以使相关运维人员能够提前作出应对措施,防止风险真正发生,避免造成损失。
根据本发明提供的风险提示方法,图2是本发明提供的风险提示方法的流程图之二,如图2所示,在图1所示实施例的基础上,步骤400、基于所述指标预测模型对所述待预测业务量指标进行预测,获得相应的指标预测结果,具体包括:
410、通过自由切换设置或分布式定时设置,从多种预测模式中确定一种预测模式;其中,所述多种预测模式至少包括连续时长预测模式和指定时间范围预测模式;
420、根据确定的预测模式,基于所述指标预测模型对所述待预测业务量指标进行预测,获得相应的指标预测结果。
自由切换设置或分布式定时设置均可以理解为对于目标预测任务的预测模式进行选择调度的一种动态调度策略,具体可以根据应用场景的实际情形进行自由切换,也可以是预先进行分布式定时设置,不同时间选取不同的预测模式。多种预测模式包括连续时长预测模式和指定时间范围预测模式等等。连续时长预测模式:可设置预测未来连续几小时、连续几天、连续几周即连续几个月的业务量指标的数据趋势。指定时间范围预测模式:可设置预测未来每天几点到几点、每周周几到周几、每月几号到几号的业务量趋势。以上多种预测模式动态调度的策略,覆盖了未来业务量指标数据运行的所有时间点,且预测方式的设置方便、灵活。
根据本发明提供的风险提示方法,当所述待预测的业务量指标为多项时,所述目标预测任务至少包括待预测的多项业务量指标及各业务量指标的预测时间维度和计划预测时段;
相应地,根据所述目标预测任务,从预设的数据库中分别选取所述多项业务量指标的相应时间维度、相应计划预测时段预设倍量或预设级别的历史运维数据,以分别作为各自的训练样本数据;
通过auto_arima机器学习算法分别对各所述训练样本数据实时进行特征提取、分析和训练,获得所述多项业务量指标各自对应的指标预测模型;
基于各所述指标预测模型分别对待预测的多项业务量指标进行预测,以分别获得各自相应的指标预测结果,并按照预设权重比例将各所述指标预测结果进行加权汇总,获得指标综合预测结果;
当所述指标综合预测结果大于或等于历史运维数据中所述多项业务量指标的综合历史均值时,发出风险预警提示信息。
当所述待预测的业务量指标为多项时,每一项待预测的业务量指标也均同时限定其自身的预测时间维度和计划预测时段。比如,想要预测活动请求数和平均响应时长这两项业务量指标在未来一段时间的数据趋势。而活动请求数和平均响应时长的预测时间维度/计划预测时段,可以相同,也可以不同。本实施例以二者预测时间维度/计划预测时段相同为例进行说明。比如,想要预测活动请求数和平均响应时长在未来一周的周一的数据情况。则该目标预测任务中,两项待预测业务量指标为活动请求数和平均响应时长,预测时间维度为周维度,计划预测时段为未来的周一的时间段。
相应地,然后对任一待预测业务量指标,分别根据所述目标预测任务,从预先设定的数据库中分别选取所述多项业务量指标的相应时间维度、相应计划预测时段预设倍量或预设级别的历史运维数据,以分别作为各自的训练样本数据。通过auto_arima机器学习算法分别对各所述训练样本数据实时进行特征提取、分析和训练,获得所述多项业务量指标各自对应的指标预测模型。各模型训练过程与上述实施例相同,原理可相互参照。
基于各所述指标预测模型分别对待预测的多项业务量指标进行预测,以分别获得各自相应的指标预测结果,比如获得了活动请求数和平均响应时长,在未来的周一这一时间段的活动请求数数据为3771,平均响应时长数为9。进而按照预设权重比例,比如各占50%的权重比例,将各指标预测结果进行加权汇总,获得指标综合预测结果。当然需要说明的是,各个业务量指标的数据量级大小可能不同,因此为了统一计算标准,则可以对获得的多个业务量指标的指标预测结果的数据,分别进行0-1标准化处理,获得标准化处理后的同一数据量级的多个数据再进行加权汇总计算。
0-1标准化处理方法如下:
Figure 44796DEST_PATH_IMAGE001
(1)
其中,
Figure 86570DEST_PATH_IMAGE002
表示标准化处理前的原数据,
Figure 335149DEST_PATH_IMAGE003
表示经0-1标准化处理后的标准化数 据。
即,当定义活动请求数数据为3920经标准化处理后,其对应的标准化数据为1,平均响应时长数13经标准化处理后,其对应的标准化数据也为1时;相应的,该周一的活动请求数数据3771经标准化处理后,其对应的标准化数据为0.842,平均响应时长数13经标准化处理后,其对应的标准化数据为0.6。
因此,对经过标准化后的两业务量指标的指标预测结果进行加权汇总,比如均占50%权重比例。
则,综合预测结果=0.842*50%+0.6*50%=0.721。
进而将所述指标综合预测结果与历史运维数据中所述多项业务量指标的综合历史均值进行比较。本实施例中继续以对活动请求数和平均响应时长数两项业务量指标进行未来一周的周一那一天的指标数据进行预测为例说明。并且预设选取了周一一天的5倍倍量的且同为天数据级别的数据,即选取了历史的上一周连续5天的每天的数据,作为该历史运维数据,既参与实时的模型训练过程,并且还在通过模型预测出该两项业务量指标的指标预测结果之后参与后续与历史运维数据中历史均值比较的过程中,如下表:
表1:
时间 活动请求数 活动请求数(标准化) 平均响应时长 平均响应时长(标准化) 综合预测结果
2020/10/01 3250 0.291 7 0.4
2020/10/02 3110 0.142 6 0.3
2020/10/03 2975 0 3 0
2020/10/04 3874 0.951 12 0.9
2020/10/05 3920 1 13 1
2020/10/06(周一) 3771 0.842 9 0.6 0.721
将预测出来的未来周一2020/10/06这一天的活动请求数为3771,标准化处理后为0.842,平均响应时长为9,标准化处理后为0.6。故其综合预测结果为对0.842和0.6进行加权汇总后获得的0.721。在将所述指标综合预测结果与历史运维数据中所述多项业务量指标的综合历史均值进行比较之前,还需也同时对各个历史运维数据中的每个业务量指标的每项数据也均进行0-1标准化处理,以统一计算标准,各标准化后的数据均如表1所示。
因此,活动请求数和平均响应时长的2020/10/01-2020/10/05这5天的历史运维数据的综合历史均值(历史平均水平)的计算方式为:
Figure 58254DEST_PATH_IMAGE004
(2)
其中,
Figure 259910DEST_PATH_IMAGE005
所述表示综合历史均值,所述
Figure 800482DEST_PATH_IMAGE006
表示表1中历史运维数据的第
Figure 192149DEST_PATH_IMAGE007
天且
Figure 984524DEST_PATH_IMAGE008
Figure 122245DEST_PATH_IMAGE009
表示表1中历史运维数据的总天数,
Figure 243172DEST_PATH_IMAGE010
表示第一业务量指标的各个历 史数据值,
Figure 122135DEST_PATH_IMAGE011
表示第二业务量指标的各个历史数据值。
根据本实施例及表1中各数据计算:
综合历史均值=[(0.291+0.4)+(0.142+0.3)+(0+0)+(0.951+0.9)+(1+1)] ÷(2*5)=0.4984
进而,判断出指标综合预测结果0.721>综合历史均值0.4984,此时判定未来周一即将存在指标异常风险,进而发出风险预警提示信息,从而为一线的相关运维人员提供参考以使其较早地发现潜在异常风险。
需要补充说明的是,所述权重比例可以根据实际需要进行不同比例的预先设定,比如还可以设置为第一业务量指标占0.3比例和第二业务量指标占0.7比例等等。当然,当所述待预测的业务量指标只有一项时,对于其经模型预测出来的指标预测结果数据,也可以进行0-1标准化处理,同时相应的历史运维数据中各数据也需要进行标准化处理,再进行指标预测结果与历史均值的比较,以进行风险判定和风险预警提示。
根据本发明提供的风险提示方法,图3是本发明提供的风险提示方法的流程图之三,如图3所示,步骤300、通过auto_arima机器学习算法对所述训练样本数据实时进行特征提取、分析和训练,获得该业务量指标的指标预测模型,具体包括:
310、将所述训练样本数据依时间顺序排成数据序列,并将所述数据序列进行平稳化处理,获得平稳化数据序列;
320、对所述平稳化数据序列中预设训练比例的训练数据实时进行特征提取、分析和训练,获得若干预测算法模型;
330、计算各预测算法模型的对称平均绝对百分比误差,并从所述若干预测算法模型中筛选出对称平均绝对百分比误差最小的预测算法模型,以作为该业务量指标的指标预测模型。
本发明实施例中,业务量指标的数据预测(数据趋势预测)属于一种实时动态预测,所采用的也是实时动态的指标预测模型,因此对于所述指标预测模型的实时训练过程,则采用基于小样本数据的auto_arima机器学习算法。通过与从数据库中选取的训练样本数据以restapi实时交互学习的方式,实时训练出若干个算法预测模型,并根据对称平均绝对百分比误差smape指标从中选择出最优的(对称平均绝对百分比误差smape最小的)算法预测模型来作为该业务量指标的指标预测模型。
举例说明,比如以活动请求数这一业务量指标为例,目标预测任务为预测活动请求数的在未来某几个时间点的数据。
将从数据库中选取的所对应的训练样本数据(包含活动请求数这一业务量指标的 多个历史数据值)依时间顺序排成数据序列:
Figure 983781DEST_PATH_IMAGE012
,其 中
Figure 631800DEST_PATH_IMAGE013
分别对应第一个时间点到第n个时间点的活动请求数总次数值,每 两个时间点之间的时间间隔,为一个单位采集时间,比如设定每一天采集一次。假定其中最 后边的
Figure 917769DEST_PATH_IMAGE014
是目标预测任务中的两个待检测时间点,需要判定该两个时间点的指 标数据是否异常。将所述数据序列进行平稳化处理,获得平稳化数据序列:
Figure 205400DEST_PATH_IMAGE015
,以保证数据的稳定性,使得实时训练的指 标预测模型更为优化和准确。
将所述平稳化数据序列中的数据按照预设训练比例和预设测试比例进行数据划分,比如选取序列前80%的数据作为训练数据,而选取序列后20%的数据作为测试数据。对平稳化数据序列中预设训练比例的训练数据,实时进行特征提取、分析和训练,获得若干预测算法模型。
分别计算各预测算法模型的对称平均绝对百分比误差smape,并从若干预测算法模型中筛选出对称平均绝对百分比误差smape最小的也是最优的预测算法模型,以作为该同一业务量指标的最终的指标预测模型。当然,还可以在获得若干预测算法模型之后,基于auto_arima机器学习算法内部的自动选择,根据内部自动优化参数,如p、q、d参数等,筛选出性能最优的算法预测模型,以作为该同一业务量指标的最终的指标预测模型。
当然,在获得所述最终的指标预测模型之后,还可以基于后20%的测试数据对所述指标预测模型进行性能测试,以进一步对上述已经筛选出的该最优的算法预测模型进行更进一步的性能测试,并且可以根据测试结果对该模型进行进一步的性能优化和调整,以使该模型更为优化,也更能完善对于各业务量指标进行预测的整个过程。
根据本发明提供的风险提示方法,图4是本发明提供的风险提示方法的流程图之四,如图4所示,在步骤300、通过auto_arima机器学习算法对所述训练样本数据实时进行特征提取、分析和训练,获得该业务量指标的指标预测模型之后,在图1所示实施例基础上,或者在图3所示实施例基础上(在步骤330之后),且在步骤400之前,所述方法还包括以下步骤:
610、根据训练样本数据中预设测试比例的测试数据,对所述指标预测模型进行测试以获得测试结果;
620、根据测试结果反向调整选取的历史运维数据的计划预测时段的预设倍量。
具体地,在进行历史运维数据的计划预测时段的预设倍量的反向调整之后,还根据调整后的历史运维数据,重新选取相应的样本训练数据,并重新实时训练指标预测模型,以通过新的指标预测模型对待预测的业务量指标的数据进行预测,以及根据最新的预测结果进行风险判定和风险预警提示。
根据本发明提供的风险提示方法,根据测试结果反向调整选取的历史运维数据的计划预测时段的预设倍量,具体包括:
根据测试结果计算所述指标预测模型的对称平均绝对误差,根据所述对称平均绝对误差确定该指标预测模型的预测结果准确率;
若所述预测结果准确率低于预设准确率,则反向调整以减小选取的历史运维数据的计划预测时段的预设倍量。
利用平稳化数据序列中剩余后20%的测试数据对所述指标预测模型进行测试,并根据测试结果计算该模型的对称平均绝对误差MAE:
Figure 339578DEST_PATH_IMAGE016
(3)
其中,
Figure 48295DEST_PATH_IMAGE017
为真实值,
Figure 508095DEST_PATH_IMAGE018
为预测值。
再根据所述对称平均绝对误差MAE确定该指标预测模型的预测结果准确率。
若所述预测结果准确率低于预设准确率,比如60%低于预设准确率80%,则反向调整所选取的历史运维数据的计划预测时段的预设倍量,比如将原预设倍量10倍减小为8倍或5倍。从而调整了下次预测时选取的历史运维数据中的预设倍量,再重新以新的训练样本数据进行模型训练。
除了根据测试结果对历史运维数据的预设倍量进行反向调整的数据智能调整策略之外,本方法优选地还支持历史运维数据降级调整的查询操作,尤其是第一次在从预设的数据库中选取所述业务量指标的相应时间维度、计划预测时段的预设倍量和预设级别的历史运维数据的时候,需要判断目标预测任务中所选取的历史运维数据的预测时间数是否大于历史运维数据的预设倍量,比如对于周预测任务,需要判断想要预测的周数是否大于历史运维数据的预设倍量,比如,想要预测未来3周的业务量指标的相关数据,则想要预测的周数为3,而预设倍量为10,此时想要预测的周数小于历史运维数据的预设倍量,由此,如果按照预设倍量选取周维度的历史运维数据,则数据库中数据量不足,无法选出满足要求的历史运维数据。因此,当想要预测的周数小于历史运维数据的预设倍量时,需要对要选取的历史运维数据的预设级别进行降级调整,比如不再查询周维度数据,而将预设级别降级为天维度数据(级别与数据维度相关),由此,不再查询周维度数据,而在降级后改为查询天维度数据,则目标预测任务中想要预测的天数3周*7=21天,大于预设倍量10,满足该条件,则可以顺利进行历史运维数据的选取。当然,天维度数据和月维度数据同样支持对应的降级调整策略。能够更为有效地保证指标预测模型的预测结果的准确性。当然,第二次或者以后再从数据库中选取历史运维数据以作为训练数据时,则每次就根据已经确定的目标预测任务中的各项待预测的业务量指标及其预测时间维度和计划预测时段等进行选取即可,此时可以不用再考虑降级调整。
根据本发明所提供的风险提示方法,在所述确定目标预测任务,所述目标预测任务包括一项或多项待预测的业务量指标及其预测时间维度和计划预测时段,之前,所述方法还包括:
获取多项业务量指标的历史运维数据,将所述历史运维数据按不同的时间维度分类汇聚,并分类存储至数据库中。
具体地,可以采用自研监控产品监控并采集系统的多项业务量指标的历史运维数据,或者通过第三方接口上报的方式来获取多项业务量指标的历史运维数据。在获取到多项业务量指标的历史运维数据之后,利用spark任务将所有的历史运维数据进行分类汇聚,汇聚分类的依据是时间维度的不同,而时间维度分为时维度、天维度、周维度和月维度等等,分类汇聚完后,再通过Kafka-Sink组件将各维度的历史运维数据分别存储至数据库里各自对应维度的数据表中。
下面对本发明提供的一种风险提示装置进行介绍,所述风险提示装置可以理解为是执行上述各实施例所述的风险提示方法的系统装置,二者原理相同,可相互参照,此处不再一一赘述。
本发明还提供一种风险提示装置,图5是本发明提供的风险提示装置的结构示意图,如图5所示,所述装置包括任务确定模块510、样本确定模块520、训练模块530、预测模块540和预警模块550,其中,
所述任务确定模块510,用于确定目标预测任务,所述目标预测任务包括一项或多项待预测的业务量指标及其预测时间维度和计划预测时段;
所述样本确定模块520,用于对任一项待预测业务量指标,根据所述目标预测任务,从所述数据库中选取所述业务量指标的相应时间维度、计划预测时段的预设倍量和预设级别的历史运维数据,以作为训练样本数据;
所述训练模块530,用于通过auto_arima机器学习算法对所述训练样本数据实时进行特征提取、分析和训练,获得该业务量指标的指标预测模型;
所述预测模块540,用于基于所述指标预测模型对所述待预测业务量指标进行预测,获得相应的指标预测结果;
所述预警模块550,用于当所述指标预测结果大于或等于历史运维数据中该业务量指标的历史均值时,发出风险预警提示信息。
本发明提供的系统业务量指标数据预测和风险预警装置,包括任务确定模块510、样本确定模块520、训练模块530、预测模块540和预警模块550,各模块相互配合工作,使得本装置可以通过auto_arima机器学习算法并结合相关历史运维数据实时动态地训练出精确的指标预测模型,并基于该实时训练出的指标预测模型对待预测的业务量指标的数据进行预测,还根据指标预测结果与历史运维数据中该业务量指标的历史均值的比较,判断是否有异常风险以及发出风险预警提示信息,该装置预测精准度高且还能提前发出风险预警提示信息,以使相关运维人员能够提前作出应对措施,防止风险真正发生,避免造成损失。
本发明还提供一种电子设备,图6是本发明提供的电子设备的结构示意图,如图6所示,该电子设备可以包括:处理器(processor)610、通信接口(CommunicationsInterface)620、存储器(memory)630和通信总线640,其中,处理器610,通信接口620,存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令,以执行所述风险提示方法的全部或部分步骤,该方法包括:
确定目标预测任务,所述目标预测任务包括一项或多项待预测的业务量指标及其预测时间维度和计划预测时段;
对任一项待预测业务量指标,根据所述目标预测任务,从预设的数据库中选取所述业务量指标的相应时间维度、计划预测时段的预设倍量和预设级别的历史运维数据,以作为训练样本数据;
通过auto_arima机器学习算法对所述训练样本数据实时进行特征提取、分析和训练,获得该业务量指标的指标预测模型;
基于所述指标预测模型对所述待预测业务量指标进行预测,获得相应的指标预测结果;
当所述指标预测结果大于或等于历史运维数据中该业务量指标的历史均值时,发出风险预警提示信息。
此外,上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述风险提示方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各实施例所提供的风险提示方法的全部或部分步骤,该方法包括:
确定目标预测任务,所述目标预测任务包括一项或多项待预测的业务量指标及其预测时间维度和计划预测时段;
对任一项待预测业务量指标,根据所述目标预测任务,从预设的数据库中选取所述业务量指标的相应时间维度、计划预测时段的预设倍量和预设级别的历史运维数据,以作为训练样本数据;
通过auto_arima机器学习算法对所述训练样本数据实时进行特征提取、分析和训练,获得该业务量指标的指标预测模型;
基于所述指标预测模型对所述待预测业务量指标进行预测,获得相应的指标预测结果;
当所述指标预测结果大于或等于历史运维数据中该业务量指标的历史均值时,发出风险预警提示信息。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上各实施例所述风险提示方法的全部或部分步骤,该方法包括:
确定目标预测任务,所述目标预测任务包括一项或多项待预测的业务量指标及其预测时间维度和计划预测时段;
对任一项待预测业务量指标,根据所述目标预测任务,从预设的数据库中选取所述业务量指标的相应时间维度、计划预测时段的预设倍量和预设级别的历史运维数据,以作为训练样本数据;
通过auto_arima机器学习算法对所述训练样本数据实时进行特征提取、分析和训练,获得该业务量指标的指标预测模型;
基于所述指标预测模型对所述待预测业务量指标进行预测,获得相应的指标预测结果;
当所述指标预测结果大于或等于历史运维数据中该业务量指标的历史均值时,发出风险预警提示信息。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的风险提示方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种风险提示方法,其特征在于,包括:
确定目标预测任务,所述目标预测任务包括一项或多项待预测的业务量指标及其预测时间维度和计划预测时段;
对任一项待预测业务量指标,根据所述目标预测任务,从预设的数据库中选取所述业务量指标的相应时间维度、计划预测时段的预设倍量和预设级别的历史运维数据,以作为训练样本数据;
通过auto_arima机器学习算法对所述训练样本数据实时进行特征提取、分析和训练,获得该业务量指标的指标预测模型;
基于所述指标预测模型对所述待预测业务量指标进行预测,获得相应的指标预测结果;
当所述指标预测结果大于或等于历史运维数据中该业务量指标的历史均值时,发出风险预警提示信息。
2.根据权利要求1所述的风险提示方法,其特征在于,所述基于所述指标预测模型对所述待预测业务量指标进行预测,获得相应的指标预测结果,具体包括:
通过自由切换设置或分布式定时设置,从多种预测模式中确定一种预测模式;其中,所述多种预测模式至少包括连续时长预测模式和指定时间范围预测模式;
根据确定的预测模式,基于所述指标预测模型对所述待预测业务量指标进行预测,获得相应的指标预测结果。
3.根据权利要求1所述的风险提示方法,其特征在于,当所述待预测的业务量指标为多项时,所述目标预测任务至少包括待预测的多项业务量指标及各业务量指标的预测时间维度和计划预测时段;
相应地,根据所述目标预测任务,从预设的数据库中分别选取所述多项业务量指标的相应时间维度、相应计划预测时段预设倍量或预设级别的历史运维数据,以分别作为各自的训练样本数据;
通过auto_arima机器学习算法分别对各所述训练样本数据实时进行特征提取、分析和训练,获得所述多项业务量指标各自对应的指标预测模型;
基于各所述指标预测模型分别对待预测的多项业务量指标进行预测,以分别获得各自相应的指标预测结果,并按照预设权重比例将各所述指标预测结果进行加权汇总,获得指标综合预测结果;
当所述指标综合预测结果大于或等于历史运维数据中所述多项业务量指标的综合历史均值时,发出风险预警提示信息。
4.根据权利要求1或2所述的风险提示方法,其特征在于,所述通过auto_arima机器学习算法对所述训练样本数据实时进行特征提取、分析和训练,获得该业务量指标的指标预测模型,具体包括:
将所述训练样本数据依时间顺序排成数据序列,并将所述数据序列进行平稳化处理,获得平稳化数据序列;
对所述平稳化数据序列中预设训练比例的训练数据实时进行特征提取、分析和训练,获得若干预测算法模型;
计算各预测算法模型的对称平均绝对百分比误差,并从所述若干预测算法模型中筛选出对称平均绝对百分比误差最小的预测算法模型,以作为该业务量指标的指标预测模型。
5.根据权利要求4所述的风险提示方法,其特征在于,在通过auto_arima机器学习算法对所述训练样本数据实时进行特征提取、分析和训练,获得该业务量指标的指标预测模型之后,所述方法还包括:
根据训练样本数据中预设测试比例的测试数据,对所述指标预测模型进行测试以获得测试结果;
根据测试结果反向调整选取的历史运维数据的计划预测时段的预设倍量。
6.根据权利要求5所述的风险提示方法,其特征在于,根据测试结果反向调整选取的历史运维数据的计划预测时段的预设倍量,具体包括:
根据测试结果计算所述指标预测模型的对称平均绝对误差,根据所述对称平均绝对误差确定该指标预测模型的预测结果准确率;
若所述预测结果准确率低于预设准确率,则反向调整以减小选取的历史运维数据的计划预测时段的预设倍量。
7.根据权利要求1所述的风险提示方法,其特征在于,在所述确定目标预测任务,所述目标预测任务包括一项或多项待预测的业务量指标及其预测时间维度和计划预测时段,之前,所述方法还包括:
获取多项业务量指标的历史运维数据,将所述历史运维数据按不同的时间维度分类汇聚,并分类存储至数据库中。
8.一种风险提示装置,其特征在于,包括:
任务确定模块,用于确定目标预测任务,所述目标预测任务包括一项或多项待预测的业务量指标及其预测时间维度和计划预测时段;
样本确定模块,用于对任一项待预测业务量指标,根据所述目标预测任务,从预设的数据库中选取所述业务量指标的相应时间维度、计划预测时段的预设倍量和预设级别的历史运维数据,以作为训练样本数据;
训练模块,用于通过auto_arima机器学习算法对所述训练样本数据实时进行特征提取、分析和训练,获得该业务量指标的指标预测模型;
预测模块,用于基于所述指标预测模型对所述待预测业务量指标进行预测,获得相应的指标预测结果;
预警模块,用于当所述指标预测结果大于或等于历史运维数据中该业务量指标的历史均值时,发出风险预警提示信息。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现根据权利要求1-7任一项所述风险提示方法的全部或部分步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现根据权利要求1-7任一项所述风险提示方法的全部或部分步骤。
CN202110588314.8A 2021-05-28 2021-05-28 风险提示方法、装置、电子设备及存储介质 Pending CN113032239A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110588314.8A CN113032239A (zh) 2021-05-28 2021-05-28 风险提示方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110588314.8A CN113032239A (zh) 2021-05-28 2021-05-28 风险提示方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113032239A true CN113032239A (zh) 2021-06-25

Family

ID=76456151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110588314.8A Pending CN113032239A (zh) 2021-05-28 2021-05-28 风险提示方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113032239A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379168A (zh) * 2021-08-11 2021-09-10 云智慧(北京)科技有限公司 一种时间序列的预测处理方法、装置及设备
CN115271553A (zh) * 2022-09-27 2022-11-01 湖南华菱电子商务有限公司 基于大数据的合同管理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197011A (zh) * 2018-01-29 2018-06-22 上海洞识信息科技有限公司 一种基于人工智能大数据平台的单指标预测和预警方法
CN111435469A (zh) * 2019-01-11 2020-07-21 中国长江电力股份有限公司 一种梯级电站中下游电站入库流量的预测方法
CN112182118A (zh) * 2020-09-29 2021-01-05 中国平安人寿保险股份有限公司 基于多数据源的目标对象预测方法及其相关设备
CN112269811A (zh) * 2020-10-13 2021-01-26 北京同创永益科技发展有限公司 一种基于业务量的it容量预测方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197011A (zh) * 2018-01-29 2018-06-22 上海洞识信息科技有限公司 一种基于人工智能大数据平台的单指标预测和预警方法
CN111435469A (zh) * 2019-01-11 2020-07-21 中国长江电力股份有限公司 一种梯级电站中下游电站入库流量的预测方法
CN112182118A (zh) * 2020-09-29 2021-01-05 中国平安人寿保险股份有限公司 基于多数据源的目标对象预测方法及其相关设备
CN112269811A (zh) * 2020-10-13 2021-01-26 北京同创永益科技发展有限公司 一种基于业务量的it容量预测方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李佩等: "一种新的组合权重在组合预测模型中的应用", 《河南科技大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379168A (zh) * 2021-08-11 2021-09-10 云智慧(北京)科技有限公司 一种时间序列的预测处理方法、装置及设备
CN115271553A (zh) * 2022-09-27 2022-11-01 湖南华菱电子商务有限公司 基于大数据的合同管理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110417591B (zh) 投票节点配置方法及系统
US9552270B2 (en) System and method for receiving analysis requests and configuring analytics systems
CN111564053B (zh) 车辆调度方法、装置、车辆调度设备和存储介质
CN113032239A (zh) 风险提示方法、装置、电子设备及存储介质
CN106156913A (zh) 用于飞机部附件的健康管理方法
CN110865924B (zh) 电力信息系统内部服务器健康度诊断方法与健康诊断框架
CN114267178A (zh) 一种车站的智能运营维护方法及装置
CN112799950A (zh) 后台服务的负载能力测试系统、方法、存储介质及电子设备
CN115441456A (zh) 一种电网调度支持系统故障诊断方法及装置
CN114338348A (zh) 一种智能告警方法、装置、设备及可读存储介质
CN117149746A (zh) 基于云原生和存算分离的数据仓库管理系统
CN115114124A (zh) 主机风险的评估方法及评估装置
CN110413482B (zh) 检测方法和装置
CN102142192B (zh) 基于组合多步预测的行人交通拥堵预警方法及系统
CN112764985A (zh) 一种数据中心系统智能监控方法
CN111125195A (zh) 一种数据异常检测方法及装置
CN115701890A (zh) 调整告警规则的方法及相关设备
CN115756922A (zh) 一种故障预测诊断方法、装置、电子设备及存储介质
CN113379497B (zh) 订单调控方法、装置、计算机设备及计算机可读存储介质
CN111985526B (zh) 一种基于相似场景聚类的尾随间隔管理策略生成方法及其系统
CN114358395A (zh) 考勤预测方法及装置
CN114997310A (zh) 一种环保监测数据处理方法及系统
CN117670172B (zh) 一种外贸数据处理方法和系统
CN112395167A (zh) 一种作业故障预测方法、装置及电子设备
CN116450485B (zh) 一种应用性能干扰的检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210625