CN115438885A - 业务异常波动的检测方法、装置、设备及存储介质 - Google Patents
业务异常波动的检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115438885A CN115438885A CN202110614445.9A CN202110614445A CN115438885A CN 115438885 A CN115438885 A CN 115438885A CN 202110614445 A CN202110614445 A CN 202110614445A CN 115438885 A CN115438885 A CN 115438885A
- Authority
- CN
- China
- Prior art keywords
- fluctuation
- service
- index
- moment
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 161
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims description 33
- 230000000694 effects Effects 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000007477 logistic regression Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 11
- 230000000737 periodic effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种业务异常波动的检测方法、装置、设备及存储介质，该方法包括：分别获取目标历史周期内各时刻的业务指标正常波动预测值和业务指标真实值；基于所述各时刻的业务指标正常波动预测值和业务指标真实值，确定各时刻对应的业务指标波动动态阈值区间；根据各时刻的业务指标真实值与对应时刻的业务指标波动动态阈值区间的比较结果，确定所述目标历史周期内各时刻的业务指标波动是否异常。通过本发明提供的业务异常波动的检测方法、装置、设备及存储介质，基于业务指标正常波动预测值和业务指标真实值确定各时刻对应的业务指标波动动态阈值区间，从而使构建出的业务正常波动范围更加精准，降低了业务异常波动检测的误判率。
Description
技术领域
本发明涉及波动检测技术领域，尤其涉及一种业务异常波动的检测方法、装置、设备及存储介质。
背景技术
随着电信业务和大数据技术的不断发展，运营商服务类别及业务指标持续增多，同时业务数据的规模也飞速增长，为了使得各项业务能够平稳稳定地运行，在业务运营活动中，需要对各项业务的业务指标进行监测，并对业务指标的波动进行分析，以及时发现异常波动的业务指标。
然而，现有的业务波动异常检测方法，通常根据预先设定的阈值来判断某业务的业务指标波动是否异常，即若某业务的业务指标波动超出预先设定的阈值范围，则判定该业务的业务指标波动为异常波动，例如采用3σ(拉依达)准则计算出阈值区间，对业务指标波动进行异常检测，但实际应用时容易存在阈值设置不合理导致无法准确检测出业务指标异常波动的问题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种业务异常波动的检测方法、装置、设备及存储介质。
第一方面，本发明提供一种业务异常波动的检测方法，包括：
分别获取目标历史周期内各时刻的业务指标正常波动预测值和业务指标真实值；
基于所述各时刻的业务指标正常波动预测值和业务指标真实值，确定各时刻对应的业务指标波动动态阈值区间；
根据各时刻的业务指标真实值与对应时刻的业务指标波动动态阈值区间的比较结果，确定所述目标历史周期内各时刻的业务指标波动是否异常。
可选地，所述根据各时刻的业务指标真实值与对应时刻的业务指标波动动态阈值区间的比较结果，确定所述目标历史周期内各时刻的业务指标波动是否异常，包括：
若确定目标时刻的业务指标真实值处于对应时刻的业务指标波动动态阈值区间内，则确定所述目标时刻的业务指标波动正常；或者，
若确定目标时刻的业务指标真实值小于对应时刻的业务指标波动动态阈值下限，或大于对应时刻的业务指标波动动态阈值上限，则确定所述目标时刻的业务指标波动异常。
可选地，所述基于所述各时刻的业务指标正常波动预测值和业务指标真实值，确定各时刻对应的业务指标波动动态阈值区间，包括：
分别获取各时刻的业务指标正常波动预测值与业务指标真实值之间的相对误差；
基于各时刻的相对误差，获得所述目标历史周期内相对误差的标准偏差；
基于所述标准偏差和各时刻的业务指标正常波动预测值，确定各时刻对应的业务指标波动动态阈值区间。
可选地，所述获取目标历史周期内各时刻的业务指标正常波动预测值，包括：
获取目标时刻之前预设时间段内各时间点的业务指标历史数据以及每一时间点的业务指标历史数据对应不同周期的差分值；
将所述各时间点的业务指标历史数据和所述各时间点对应的所述差分值按照时间次序依次输入长短期记忆网络LSTM模型，得到所述目标时刻的业务指标正常波动预测值；
其中，所述LSTM模型基于带有确定训练标签的业务指标历史数据样本进行训练后得到，所述训练标签为训练样本所预测时刻的业务指标真实值。
可选地，在确定所述目标时刻的业务指标波动异常后，所述方法还包括：
对所确定的异常波动业务指标进行多业务维度拆分，基于异常波动判别公式，得到各子业务维度的波动异常概率，并将波动异常概率大于或等于概率阈值的子业务维度确定为异常波动的子业务维度；
基于波动原因判别规则，确定各异常波动的子业务维度的异常波动原因；
将所述各异常波动的子业务维度的异常波动原因的集合确定为所述异常波动业务指标的异常波动原因；
其中，所述异常波动判别公式是基于带有确定波动状态标签的各子业务维度波动特征数据样本训练逻辑回归模型后得到的；所述波动原因判别规则是基于分类与回归树CART算法，采用带有确定波动原因标签的各子业务维度波动特征数据样本训练波动原因识别模型后得到的。
可选地，所述概率阈值的确定方式如下：
分别统计测试集样本在不同阈值情况下判断异常波动的子业务维度的准确率和召回率；
基于所述准确率和所述召回率，确定不同阈值所对应的模型F值；
将所述模型F值的最大值所对应的阈值确定为所述概率阈值；
其中，所述模型F值为所述准确率与所述召回率的乘积和所述准确率与所述召回率的平均值之间的比值。
可选地，所述基于波动原因判别规则，确定各异常波动的子业务维度的异常波动原因，包括：
若确定异常波动的目标子业务维度的指标真实值小于业务指标波动动态阈值下限，且处于割接报备时间段，且指标真实值为0，则确定所述目标子业务维度的异常波动原因为割接；或者，
若确定异常波动的目标子业务维度的指标真实值大于业务指标波动动态阈值上限，且处于营销活动期间，且异常波动持续时长大于第一预设阈值，且同比大于第二预设阈值，则确定所述目标子业务维度的异常波动原因为营销活动。
第二方面，本发明还提供一种业务异常波动的检测装置，包括：
获取单元，用于分别获取目标历史周期内各时刻的业务指标正常波动预测值和业务指标真实值；
确定单元，用于基于所述各时刻的业务指标正常波动预测值和业务指标真实值，确定各时刻对应的业务指标波动动态阈值区间；
比较单元，用于根据各时刻的业务指标真实值与对应时刻的业务指标波动动态阈值区间的比较结果，确定所述目标历史周期内各时刻的业务指标波动是否异常。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述业务异常波动的检测方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述业务异常波动的检测方法的步骤。
本发明提供的业务异常波动的检测方法、装置、设备及存储介质，通过基于业务指标正常波动预测值和业务指标真实值确定各时刻对应的业务指标波动动态阈值区间，从而使构建出的业务正常波动范围更加精准，降低了业务异常波动检测的误判率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的业务异常波动的检测方法的流程示意图之一；
图2是本发明提供的业务异常波动的检测方法的流程示意图之二；
图3是本发明提供的业务异常波动的检测装置的结构示意图；
图4是本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的技术方案旨在解决如下技术问题：
1、异常波动检测包括异常波动识别以及异常波动原因定位，其中异常波动识别即动态阈值构建，如何构建动态阈值，使得构建出的业务正常波动范围更加精准。
2、因业务数据具有周期性变化特点，如何对业务量数据的变化规律进行准确学习，为异常波动检测提供可靠的分析基础。
3、如何构建非自然因素带来的业务波动的识别规则，使得波动分析更全面，准确。
为此，本发明提供一种解决方案，通过采用LSTM(Long Short-Term Memory，长短期记忆)深度神经网络模型预测业务指标趋势，将业务指标的数据输入LSTM模型预测得到业务指标的变化情况，并依据动态阈值确定业务指标数据的波动范围，通过比较真实数据与波动范围能够发现数据中的异常点，并在检测出异常波动后，进一步对业务数据进行多维度拆分和分析，能够对导致波动异常的原因进行准确定位。
图1为本发明提供的业务异常波动的检测方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤100、分别获取目标历史周期内各时刻的业务指标正常波动预测值和业务指标真实值；
步骤101、基于各时刻的业务指标正常波动预测值和业务指标真实值，确定各时刻对应的业务指标波动动态阈值区间；
步骤102、根据各时刻的业务指标真实值与对应时刻的业务指标波动动态阈值区间的比较结果，确定目标历史周期内各时刻的业务指标波动是否异常。
具体地，本发明实施例中，目标历史周期可以是任意一段需要检测业务指标波动是否异常的历史周期，业务指标可以是各种需要检测异常波动的业务相关的指标，具体可以根据实际情况设定，在此不做限制，例如，可以是各类电信业务(如话音业务、短信业务、彩信业务或互联网业务等)相关的指标。
针对任意一项业务指标X，为了检测该业务指标在一定历史周期内的指标值波动是否存在异常，首先可以通过业务指标值预测的方法预测出该业务指标在该历史周期内正常波动情况下各时刻的指标值，即该历史周期内各时刻的业务指标正常波动预测值，并同时获取该业务指标在该历史周期内各时刻真实的指标值，从而基于业务指标正常波动预测值和业务指标真实值来构建用于检测业务指标在该历史周期内的指标值波动是否存在异常的动态阈值区间。
不同于通常采用的固定阈值区间，本实施例中的动态阈值区间是与该历史周期内的各时刻一一对应的，即每一时刻都对应有各自的阈值区间，不同时刻对应的阈值区间可能相同，也可能不同，从而使构建出的业务正常波动范围更加精准，业务异常波动的检测更加准确。
在确定各时刻对应的业务指标波动动态阈值区间之后，可以将各时刻的业务指标真实值与对应时刻的业务指标波动动态阈值区间之间进行比较，从而根据比较结果来确定该历史周期内各时刻的业务指标波动是否存在异常。
本发明实施例提供的业务异常波动的检测方法，通过基于业务指标正常波动预测值和业务指标真实值确定各时刻对应的业务指标波动动态阈值区间，从而使构建出的业务正常波动范围更加精准，降低了业务异常波动检测的误判率。
可选地，所述根据各时刻的业务指标真实值与对应时刻的业务指标波动动态阈值区间的比较结果，确定目标历史周期内各时刻的业务指标波动是否异常，包括：
若确定目标时刻的业务指标真实值处于对应时刻的业务指标波动动态阈值区间内，则确定目标时刻的业务指标波动正常；或者，
若确定目标时刻的业务指标真实值小于对应时刻的业务指标波动动态阈值下限，或大于对应时刻的业务指标波动动态阈值上限，则确定目标时刻的业务指标波动异常。
具体地，在确定各时刻对应的业务指标波动动态阈值区间之后，通过比较各时刻的业务指标真实值与对应时刻的业务指标波动动态阈值区间，可以确定该历史周期内任意时刻的业务指标波动是否存在异常。
例如，若某一时刻的业务指标真实值处于该时刻对应的业务指标波动动态阈值区间内，则表明该时刻的业务指标真实值处于正常波动范围内，那么就可以确定该时刻的业务指标波动属于正常波动。
再例如，若某一时刻的业务指标真实值在该时刻对应的业务指标波动动态阈值区间之外，即该时刻的业务指标真实值小于该时刻对应的阈值区间下限或大于该时刻对应的阈值区间上限，则表明该时刻的业务指标真实值不在正常波动范围内，可以确定该时刻的业务指标波动属于异常波动。
可选地，所述基于各时刻的业务指标正常波动预测值和业务指标真实值，确定各时刻对应的业务指标波动动态阈值区间，包括：
分别获取各时刻的业务指标正常波动预测值与业务指标真实值之间的相对误差；
基于各时刻的相对误差，获得目标历史周期内相对误差的标准偏差；
基于标准偏差和各时刻的业务指标正常波动预测值，确定各时刻对应的业务指标波动动态阈值区间。
具体地，针对任意一项业务指标X，在获取一定历史周期内各时刻的业务指标正常波动预测值和业务指标真实值之后，可以首先计算各时刻的业务指标正常波动预测值与业务指标真实值之间的相对误差，例如，对于任意时刻i，该时刻的业务指标正常波动预测值为y^i，业务指标真实值为yi，则该时刻的业务指标正常波动预测值与业务指标真实值之间的相对误差δi可以表示为：
计算出各时刻的相对误差之后，即可基于各时刻的相对误差计算出该历史周期长度N内相对误差的标准偏差，该标准偏差σ可以表示为：
对于任意时刻i，设定业务指标的波动上限yup i＝(1+σ)*y^i，波动下限ylow i＝(1–σ)*y^i，从而基于上述标准偏差σ和各时刻的业务指标正常波动预测值y^i确定出各时刻对应的业务指标波动动态阈值区间[ylow i,yup i]，若确定某一时刻i的业务指标真实值yi<ylow i或者yi>yup i，则判定该时刻的业务指标X波动异常。
可以理解，本发明实施例中，任意时刻对应的阈值区间都与该时刻的业务指标正常波动预测值密切相关，随着各时刻的业务指标正常波动预测值的变化而变化，从而可以构建出动态的业务正常波动范围，能够更加准确地对各时刻的业务指标波动是否异常进行判断。
可选地，所述获取目标历史周期内各时刻的业务指标正常波动预测值，包括：
获取目标时刻之前预设时间段内各时间点的业务指标历史数据以及每一时间点的业务指标历史数据对应不同周期的差分值；
将各时间点的业务指标历史数据和各时间点对应的差分值按照时间次序依次输入长短期记忆网络LSTM模型，得到目标时刻的业务指标正常波动预测值；
其中，LSTM模型基于带有确定训练标签的业务指标历史数据样本进行训练后得到，训练标签为训练样本所预测时刻的业务指标真实值。
具体地，本发明实施例中，可以采用LSTM循环神经网络模型来进行业务指标值的预测，自动提取业务指标数据的高阶特征。其中，用于预测业务指标值的LSTM已根据带有确定训练标签的业务指标历史数据样本进行了训练，训练标签为训练样本所预测时刻的业务指标真实值，从而能够实现准确的业务指标值预测。
LSTM模型是一种时间循环神经网络模型，是为了解决一般的RNN(RecurrentNeural Networks，循环神经网络)存在的长期依赖问题而专门设计出来的。RNN在优化过程中与普通的反向传播算法一样，即重复地使用链式法则，区别在于损失函数不仅依赖于当前时刻的输出层，也依赖于下一时刻。所以神经网络参数在更新梯度时，必须考虑当前时刻的梯度和下一时刻的梯度，参数连乘一直带来了两个问题：梯度爆炸和消失。而且，在前向过程中，开始时刻的输入内容对后面时刻的影响越来越小，这样的长距离依赖问题使神经网络失去了“记忆”的能力。
而LSTM模型在模块中引入了细胞状态，细胞状态承载着之前所有状态的信息，每到新的时刻执行相应的操作来决定舍弃什么旧的信息以及添加什么新的信息。这个状态与隐藏层状态不同，在更新过程中细胞状态的更新是缓慢的，而隐藏层状态的更新是迅速的。此外，LSTM模型还包括三个门：遗忘门、输入门与输出门。遗忘门决定了要从上一个状态中舍弃哪些信息，输入门决定了要往当前状态中保存哪些新的信息，输出门决定了隐状态要输出细胞状态的哪些信息。通过门控状态来对信息进行选择性的记忆，满足了需要长时间记忆信息和遗忘信息的需求。
考虑到业务指标数据通常存在一定的周期性变化，但LSTM模型对于周期性数据的拟合能力不足，为了改进这一问题，本发明实施例中借鉴ARIMA(AutoregressiveIntegrated Moving Average model，差分整合移动平均自回归模型)算法采用了差分的方法来剔除数据中的周期性因素。差分法采用对等周期间隔的数据进行线性求减的计算方法，通过构造差分特征，可以将每一时间点的单一指标数据扩充为一个多维向量，并去除整个时间序列数据中的周期性因素，为深度学习模型提供更加有效的数据特征。
以下通过具体实施例对上述业务指标值的预测过程进行举例说明。
1、构建业务指标差分特征矩阵
本实施例依据待预测时间点i前60分钟的历史数据来进行预测，以获取时刻i的业务指标正常波动预测值，但本领域技术人员应当理解，也可以根据实际需要依据待预测时间点i前任意时间的历史数据来进行预测，例如，可以是待预测时间点i前50分钟、30分钟等等，在此不做限制。
通过分析业务指标序列数据的特点，可以发现数据在分钟、小时、天和月水平上都存在一定的周期性变化，因此分别计算历史数据的1分钟、10分钟、30分钟、1小时、12小时、1天、1周以及1月的差分值，最终历史数据的每个时间点由原始数据与差分值共同构成一个9维的向量。假设待预测时间点为i，其前60分钟数据[xi-60,xi-59,…,xi-2,xi-1]被转换为如下形式：
上述矩阵的维数为60×9，每一行表示待预测时间点i前60分钟每个时间点(即每一分钟)的历史数据及其差分值。其中，xi-60,xi-59,…,xi-2,xi-1分别表示待预测时间点i前60分钟时、前59分钟时、…、前2分钟时以及前1分钟时的业务指标值，
分别表示待预测时间点i前60分钟时的业务指标值对应不同周期(即1分钟、10分钟、30分钟、1小时、12小时、1天、1周以及1月)的差分值，与之类似，
分别表示待预测时间点i前1分钟时的业务指标值对应不同周期(即1分钟、10分钟、30分钟、1小时、12小时、1天、1周以及1月)的差分值，对于矩阵中的其余数据的含义可以参考上述说明，在此不再赘述。
针对待预测时间点i前60分钟每个时间点的历史数据对应不同周期的差分值，以
为例，其计算方法为：将时刻(i-60)的业务指标值减去1个月之前同时刻的业务指标值，所得到的结果即为
例如，待预测时间点i为4月2日15时整，则
则可以通过将4月2日14时整的业务指标值减去3月2日14时整的业务指标值计算得到。
2、业务指标值预测
将上述矩阵中的60个历史数据及其差分值按照时间次序依次输入LSTM模型，即上述矩阵中的第一行数据特征首先输入，直到最后一行，得到相应的业务指标正常波动预测值：
hi-1＝LSTM(xi-1)；
y^i＝W*hi-1+b；
式中，hi-1表示(i-1)时刻输入对应的LSTM单元隐状态，最终通过对隐状态向量进行线性变换得到预测值y^i，其中，W和b为模型训练得到的参数，W表示权重系数，b表示偏移量。
本发明实施例提供的业务异常波动的检测方法，通过采用更适合构建时间序列模型的LSTM神经网络来学习业务指标数据的变化情况，并引入差分特征改进了模型特征的质量，从而使得模型对数据具有更好的拟合性能。
图2为本发明提供的业务异常波动的检测方法的流程示意图，如图2所示，可选地，在确定目标时刻的业务指标波动异常后，所述方法还包括：
对所确定的异常波动业务指标进行多业务维度拆分，基于异常波动判别公式，得到各子业务维度的波动异常概率，并将波动异常概率大于或等于概率阈值的子业务维度确定为异常波动的子业务维度；
基于波动原因判别规则，确定各异常波动的子业务维度的异常波动原因；
将各异常波动的子业务维度的异常波动原因的集合确定为异常波动业务指标的异常波动原因；
其中，异常波动判别公式是基于带有确定波动状态标签的各子业务维度波动特征数据样本训练逻辑回归模型后得到的；波动原因判别规则是基于分类与回归树CART算法，采用带有确定波动原因标签的各子业务维度波动特征数据样本训练波动原因识别模型后得到的。
具体地，通过各时刻对应的动态阈值区间确定某一时刻的业务指标波动为异常波动之后，为了进一步定位出该时刻业务指标异常波动的原因，可以通过对业务指标进行多业务维度拆分，针对每一子业务维度判断是否波动异常，并定位出每一波动异常的子业务维度的异常波动原因，从而最终定位出该时刻业务指标异常波动的原因。
以下通过具体实施例对如何定位异常波动业务指标的异常波动原因进行举例说明。
1、对异常波动业务指标X进行多业务维度拆分：
X1＝X11+X12+X13+……+X1m；
X2＝X21+X22+X23+……+X2m；
Xn＝Xn1+Xn2+Xn3+……+Xnm；
式中，Xnm表示第n个业务维度第m个子业务维度的指标值，n表示表示业务维度个数，m表示每个业务维度的子业务维度个数。
2、构建波动特征集X*，如指标值环比，指标值连续为0时长等，并采集一段历史周期内各子业务维度波动特征数据作为样本，各训练样本均带有确定波动状态标签，即该训练样本对应的子业务维度波动状态是否异常。按一定的比例(例如7：3)将训练样本分成训练集与测试集，使用训练集样本训练逻辑回归模型，得到异常波动判别公式：
式中，p为波动异常概率，WT为波动特征集X*权重。
3、基于异常波动判别公式，计算子维度dnm波动异常概率pnm，其计算公式为：
式中，
表示子维度dnm波动特征。
4、当pnm大于或等于概率阈值时，判定dnm波动异常，记为dabnor，即为异常波动的子业务维度。
可选地，概率阈值可以通过如下方式确定：
分别统计测试集样本在不同阈值情况下判断异常波动的子业务维度的准确率和召回率；
基于准确率和召回率，确定不同阈值所对应的模型F值；
将模型F值的最大值所对应的阈值确定为概率阈值；
其中，模型F值为准确率与召回率的乘积和准确率与召回率的平均值之间的比值。
具体地，首先设定当波动异常概率p大于或等于阈值时，则判断波动异常，然后可以分别统计测试集在不同阈值(例如不同阈值的取值可以为0.5、0.6、0.7、0.8、0.9和1)情况下的模型F值，取模型F值的最大值对应的阈值作为概率阈值。其中，模型F值的计算公式为：
式中，precision为测试集准确率，recall为测试集召回率。
5、鉴于时间趋势、季节、周期等影响业务指标波动的自然因素已包含在动态阈值中，故通过构建多分类模型，从影响业务指标波动的非自然因素，如营销活动、签退、割接等多个角度定位异常波动原因。具体实现步骤如下：
(1)构建特征集。例如，指标值是否大于业务指标正常波动阈值上限、指标值是否小于业务指标正常波动阈值下限、是否夜间时间段、指标值是否为0，指标值连续为0时长、异常波动持续时长、是否处于营销活动期间、是否处于签退未签到时间段、是否处于割接报备时间段等；
(2)获取训练数据。采集一段历史周期内异常波动的各子业务维度特征数据作为训练样本，各训练样本均带有确定波动原因标签，例如，波动原因为营销活动、签退或割接等。
(3)训练模型。基于CART(Classification and Regression Tree，分类与回归树)算法训练波动原因识别模型，得到各波动原因的判别规则。例如，波动原因为割接的判别规则：当指标值小于业务指标正常波动阈值下限，且处于割接报备时间段，且指标值为0，则判定异常波动原因为割接；波动原因为营销活动的判别规则：当指标值大于业务指标正常波动阈值上限，且处于营销活动期间，且异常波动持续时长大于第一预设阈值，且指标值同比大于第二预设阈值，则判定异常波动原因为营销活动。上述第一预设阈值和第二预设阈值可以根据实际应用经验进行设定，在此不做限制。
(4)调用模型。针对异常波动子业务维度dabnor，判断是否满足某波动原因的判别规则，若满足，则判定某波动原因为该异常波动子业务维度的异常波动原因；将所有异常波动子业务维度满足的判别规则所对应的波动原因的集合记为Fabnor，即为异常波动业务指标X的异常波动原因。
本发明实施例提供的业务异常波动的检测方法，通过构建导致业务指标波动的非自然因素识别模型，定位出每一波动异常的子业务维度的异常波动原因，从而使得异常波动原因的分析更精准、全面。
下面对本发明提供的业务异常波动的检测装置进行描述，下文描述的业务异常波动的检测装置与上文描述的业务异常波动的检测方法可相互对应参照。
图3为本发明提供的业务异常波动的检测装置的结构示意图，如图3所示，该装置包括：
获取单元300，用于分别获取目标历史周期内各时刻的业务指标正常波动预测值和业务指标真实值；
确定单元310，用于基于所述各时刻的业务指标正常波动预测值和业务指标真实值，确定各时刻对应的业务指标波动动态阈值区间；
比较单元320，用于根据各时刻的业务指标真实值与对应时刻的业务指标波动动态阈值区间的比较结果，确定所述目标历史周期内各时刻的业务指标波动是否异常。
可选地，所述比较单元320，用于：若确定目标时刻的业务指标真实值处于对应时刻的业务指标波动动态阈值区间内，则确定目标时刻的业务指标波动正常；或者，若确定目标时刻的业务指标真实值小于对应时刻的业务指标波动动态阈值下限，或大于对应时刻的业务指标波动动态阈值上限，则确定目标时刻的业务指标波动异常。
可选地，所述确定单元310，用于：分别获取各时刻的业务指标正常波动预测值与业务指标真实值之间的相对误差；基于各时刻的相对误差，获得目标历史周期内相对误差的标准偏差；基于标准偏差和各时刻的业务指标正常波动预测值，确定各时刻对应的业务指标波动动态阈值区间。
可选地，所述获取单元300，用于：获取目标时刻之前预设时间段内各时间点的业务指标历史数据以及每一时间点的业务指标历史数据对应不同周期的差分值；将各时间点的业务指标历史数据和各时间点对应的差分值按照时间次序依次输入长短期记忆网络LSTM模型，得到目标时刻的业务指标正常波动预测值；其中，LSTM模型基于带有确定训练标签的业务指标历史数据样本进行训练后得到，训练标签为训练样本所预测时刻的业务指标真实值。
可选地，所述装置还包括：
子业务维度异常波动确定单元330，用于对所确定的异常波动业务指标进行多业务维度拆分，基于异常波动判别公式，得到各子业务维度的波动异常概率，并将波动异常概率大于或等于概率阈值的子业务维度确定为异常波动的子业务维度；其中，异常波动判别公式是基于带有确定波动状态标签的各子业务维度波动特征数据样本训练逻辑回归模型后得到的；
异常波动原因确定单元340，用于基于波动原因判别规则，确定各异常波动的子业务维度的异常波动原因；将各异常波动的子业务维度的异常波动原因的集合确定为异常波动业务指标的异常波动原因；其中，波动原因判别规则是基于分类与回归树CART算法，采用带有确定波动原因标签的各子业务维度波动特征数据样本训练波动原因识别模型后得到的。
可选地，所述子业务维度异常波动确定单元330，还用于：分别统计测试集样本在不同阈值情况下判断异常波动的子业务维度的准确率和召回率；基于准确率和召回率，确定不同阈值所对应的模型F值；将模型F值的最大值所对应的阈值确定为概率阈值；其中，模型F值为准确率与召回率的乘积和准确率与召回率的平均值之间的比值。
可选地，所述异常波动原因确定单元340，用于：若确定异常波动的目标子业务维度的指标真实值小于业务指标波动动态阈值下限，且处于割接报备时间段，且指标真实值为0，则确定目标子业务维度的异常波动原因为割接；或者，若确定异常波动的目标子业务维度的指标真实值大于业务指标波动动态阈值上限，且处于营销活动期间，且异常波动持续时长大于第一预设阈值，且同比大于第二预设阈值，则确定目标子业务维度的异常波动原因为营销活动。
在此需要说明的是，本发明提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图4为本发明提供的电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行上述各实施例提供的任一所述业务异常波动的检测方法的步骤，例如：分别获取目标历史周期内各时刻的业务指标正常波动预测值和业务指标真实值；基于各时刻的业务指标正常波动预测值和业务指标真实值，确定各时刻对应的业务指标波动动态阈值区间；根据各时刻的业务指标真实值与对应时刻的业务指标波动动态阈值区间的比较结果，确定目标历史周期内各时刻的业务指标波动是否异常。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的任一所述业务异常波动的检测方法的步骤，例如：分别获取目标历史周期内各时刻的业务指标正常波动预测值和业务指标真实值；基于各时刻的业务指标正常波动预测值和业务指标真实值，确定各时刻对应的业务指标波动动态阈值区间；根据各时刻的业务指标真实值与对应时刻的业务指标波动动态阈值区间的比较结果，确定目标历史周期内各时刻的业务指标波动是否异常。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种业务异常波动的检测方法，其特征在于，包括：
分别获取目标历史周期内各时刻的业务指标正常波动预测值和业务指标真实值；
基于所述各时刻的业务指标正常波动预测值和业务指标真实值，确定各时刻对应的业务指标波动动态阈值区间；
根据各时刻的业务指标真实值与对应时刻的业务指标波动动态阈值区间的比较结果，确定所述目标历史周期内各时刻的业务指标波动是否异常。
2.根据权利要求1所述的业务异常波动的检测方法，其特征在于，所述根据各时刻的业务指标真实值与对应时刻的业务指标波动动态阈值区间的比较结果，确定所述目标历史周期内各时刻的业务指标波动是否异常，包括：
若确定目标时刻的业务指标真实值处于对应时刻的业务指标波动动态阈值区间内，则确定所述目标时刻的业务指标波动正常；或者，
若确定目标时刻的业务指标真实值小于对应时刻的业务指标波动动态阈值下限，或大于对应时刻的业务指标波动动态阈值上限，则确定所述目标时刻的业务指标波动异常。
3.根据权利要求1所述的业务异常波动的检测方法，其特征在于，所述基于所述各时刻的业务指标正常波动预测值和业务指标真实值，确定各时刻对应的业务指标波动动态阈值区间，包括：
分别获取各时刻的业务指标正常波动预测值与业务指标真实值之间的相对误差；
基于各时刻的相对误差，获得所述目标历史周期内相对误差的标准偏差；
基于所述标准偏差和各时刻的业务指标正常波动预测值，确定各时刻对应的业务指标波动动态阈值区间。
4.根据权利要求1所述的业务异常波动的检测方法，其特征在于，所述获取目标历史周期内各时刻的业务指标正常波动预测值，包括：
获取目标时刻之前预设时间段内各时间点的业务指标历史数据以及每一时间点的业务指标历史数据对应不同周期的差分值；
将所述各时间点的业务指标历史数据和所述各时间点对应的所述差分值按照时间次序依次输入长短期记忆网络LSTM模型，得到所述目标时刻的业务指标正常波动预测值；
其中，所述LSTM模型基于带有确定训练标签的业务指标历史数据样本进行训练后得到，所述训练标签为训练样本所预测时刻的业务指标真实值。
5.根据权利要求2所述的业务异常波动的检测方法，其特征在于，在确定所述目标时刻的业务指标波动异常后，所述方法还包括：
对所确定的异常波动业务指标进行多业务维度拆分，基于异常波动判别公式，得到各子业务维度的波动异常概率，并将波动异常概率大于或等于概率阈值的子业务维度确定为异常波动的子业务维度；
基于波动原因判别规则，确定各异常波动的子业务维度的异常波动原因；
将所述各异常波动的子业务维度的异常波动原因的集合确定为所述异常波动业务指标的异常波动原因；
其中，所述异常波动判别公式是基于带有确定波动状态标签的各子业务维度波动特征数据样本训练逻辑回归模型后得到的；所述波动原因判别规则是基于分类与回归树CART算法，采用带有确定波动原因标签的各子业务维度波动特征数据样本训练波动原因识别模型后得到的。
6.根据权利要求5所述的业务异常波动的检测方法，其特征在于，所述概率阈值的确定方式如下：
分别统计测试集样本在不同阈值情况下判断异常波动的子业务维度的准确率和召回率；
基于所述准确率和所述召回率，确定不同阈值所对应的模型F值；
将所述模型F值的最大值所对应的阈值确定为所述概率阈值；
其中，所述模型F值为所述准确率与所述召回率的乘积和所述准确率与所述召回率的平均值之间的比值。
7.根据权利要求5所述的业务异常波动的检测方法，其特征在于，所述基于波动原因判别规则，确定各异常波动的子业务维度的异常波动原因，包括：
若确定异常波动的目标子业务维度的指标真实值小于业务指标波动动态阈值下限，且处于割接报备时间段，且指标真实值为0，则确定所述目标子业务维度的异常波动原因为割接；或者，
若确定异常波动的目标子业务维度的指标真实值大于业务指标波动动态阈值上限，且处于营销活动期间，且异常波动持续时长大于第一预设阈值，且同比大于第二预设阈值，则确定所述目标子业务维度的异常波动原因为营销活动。
8.一种业务异常波动的检测装置，其特征在于，包括：
获取单元，用于分别获取目标历史周期内各时刻的业务指标正常波动预测值和业务指标真实值；
确定单元，用于基于所述各时刻的业务指标正常波动预测值和业务指标真实值，确定各时刻对应的业务指标波动动态阈值区间；
比较单元，用于根据各时刻的业务指标真实值与对应时刻的业务指标波动动态阈值区间的比较结果，确定所述目标历史周期内各时刻的业务指标波动是否异常。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述业务异常波动的检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述业务异常波动的检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110614445.9A CN115438885A (zh) | 2021-06-02 | 2021-06-02 | 业务异常波动的检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110614445.9A CN115438885A (zh) | 2021-06-02 | 2021-06-02 | 业务异常波动的检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115438885A true CN115438885A (zh) | 2022-12-06 |
Family
ID=84272006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110614445.9A Pending CN115438885A (zh) | 2021-06-02 | 2021-06-02 | 业务异常波动的检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115438885A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116074215A (zh) * | 2022-12-30 | 2023-05-05 | 中国联合网络通信集团有限公司 | 网络质量检测方法、装置、设备及存储介质 |
-
2021
- 2021-06-02 CN CN202110614445.9A patent/CN115438885A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116074215A (zh) * | 2022-12-30 | 2023-05-05 | 中国联合网络通信集团有限公司 | 网络质量检测方法、装置、设备及存储介质 |
| CN116074215B (zh) * | 2022-12-30 | 2024-04-19 | 中国联合网络通信集团有限公司 | 网络质量检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116757534B (zh) | 一种基于神经训练网络的智能冰箱可靠性分析方法 | |
| CN111723929A (zh) | 一种基于神经网络的数值预报产品订正方法、装置和系统 | |
| CN111625516A (zh) | 检测数据状态的方法、装置、计算机设备和存储介质 | |
| CN114254716B (zh) | 一种基于用户行为分析的高危操作识别方法及系统 | |
| CN111796957B (zh) | 基于应用日志的交易异常根因分析方法及系统 | |
| CN111738520A (zh) | 一种融合孤立森林与长短期记忆网络的系统负载预测方法 | |
| CN110083507B (zh) | 关键性能指标分类方法及装置 | |
| CN117241306B (zh) | 一种4g网络异常流量数据实时监测方法 | |
| CN115760484A (zh) | 一种配电台区隐患辨识能力提升方法、装置、系统及存储介质 | |
| CN112363896A (zh) | 日志异常检测系统 | |
| CN109558298B (zh) | 基于深度学习模型的告警执行频率优化方法及相关设备 | |
| CN116451142A (zh) | 一种基于机器学习算法的水质传感器故障检测方法 | |
| CN111079348A (zh) | 一种缓变信号检测方法和装置 | |
| CN115438885A (zh) | 业务异常波动的检测方法、装置、设备及存储介质 | |
| US20240060605A1 (en) | Method, internet of things (iot) system, and storage medium for smart gas abnormal data analysis | |
| CN113962160A (zh) | 基于用户画像的互联网卡用户流失预测方法及系统 | |
| CN111984514A (zh) | 基于Prophet-bLSTM-DTW的日志异常检测方法 | |
| CN116777281A (zh) | 一种基于arima模型的电力设备质量趋势预测方法及装置 | |
| CN116627781A (zh) | 目标模型验证方法以及装置 | |
| CN116136897A (zh) | 信息处理方法以及装置 | |
| CN111144430A (zh) | 基于遗传算法的养卡号码识别方法及装置 | |
| CN111428963B (zh) | 一种数据处理方法及装置 | |
| CN113962444A (zh) | 一种基于强化学习的学生素质素养预测系统 | |
| CN115858606A (zh) | 时序数据的异常检测方法、装置、设备及存储介质 | |
| Thangarasu et al. | Detection of Cyberbullying Tweets in Twitter Media Using Random Forest Classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |