CN115001997B - 基于极值理论的智慧城市网络设备性能异常阈值评估方法 - Google Patents
基于极值理论的智慧城市网络设备性能异常阈值评估方法 Download PDFInfo
- Publication number
- CN115001997B CN115001997B CN202210376980.XA CN202210376980A CN115001997B CN 115001997 B CN115001997 B CN 115001997B CN 202210376980 A CN202210376980 A CN 202210376980A CN 115001997 B CN115001997 B CN 115001997B
- Authority
- CN
- China
- Prior art keywords
- target
- abnormal
- threshold
- performance
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 102
- 238000011156 evaluation Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 88
- 238000007476 Maximum Likelihood Methods 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 12
- 230000005856 abnormality Effects 0.000 description 17
- 238000010276 construction Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005315 distribution function Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Complex Calculations (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种基于极值理论的智慧城市网络设备性能异常阈值评估方法,所述方法包括:基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数;基于目标参数,确定智慧城市网络设备性能的异常阈值;目标性能数据是基于智慧城市网络设备的运行数据确定的;目标参数包括规模参数和形状参数。本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法,通过使用极大似然估计方法确定广义帕累托分布的参数,解决了一般参数估计方法准确率低,性能低效的问题,并且得到的广义帕累托分布的参数更加接近真实值,为广义帕累托分布求解异常边界阈值打下基础,提高了异常边界阈值计算的准确率。
Description
技术领域
本发明涉及网络信息技术领域,尤其涉及一种基于极值理论的智慧城市网络设备性能异常阈值评估方法。
背景技术
目前信息技术不断发展,信息化、数据化成为了新的经济增长点和目前各项建设工作的重点,其中建设智慧城市则是目前网络设施建设以及城市未来规划建设的重中之重。庞大的智慧城市信息化工程需要高性能、强稳定性的网络基础设施作为支撑,其中网络设备性能是重要考察点之一。网络设备性能由几个关键指标决定,比如网络流量,网络延迟,接入设备数量等。其中关键性能指标存在可承载阈值,网络设备需要在承载范围内发挥最大性能,因此需要明确求解关键性能指标的极大极小异常阈值,这决定了网络设备的性能及鲁棒性。因此如何求解网络设备关键性能指标的异常阈值,保证网络服务稳定高效成为了智慧城市建设中网络建设所需要突破的重点问题之一。
在现代互联网服务中,为了确保服务不中断,运维人员需要密切关注各种性能指标的表现情况。因此系统要能及时触发关于异常指标的警报,然后运维人员才可以快速进行故障止损的操作。但是随着业务越来越复杂,系统需要监控大量的性能指标,因此操作员需要自动的异常检测算法,由该需求逐渐延伸出不少异常边界阈值求解算法。异常边界阈值求解方法由来已久,主要分为基于性能指标和基于深度学习的方法。
基于性能指标的服务异常检测方法发展迅速,但现有方法存在依赖于原始数据分布、依赖于手动设置阈值、依赖于大量标注的异常指标样本数据、对多种形态混合性能指标检测效果较差等问题,因此其效果往往并不理想,但基于性能指标的服务异常检测方法仍然是检测指标异常的最主要方法。
发明内容
本发明提供一种基于极值理论的智慧城市网络设备性能异常阈值评估方法,用以解决现有技术中性能指标检测效果较差的缺陷,实现提高异常边界阈值计算的准确率。
本发明提供一种基于极值理论的智慧城市网络设备性能异常阈值评估方法,包括:
基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数;
基于所述目标参数,确定智慧城市网络设备性能的异常阈值;
所述目标性能数据是基于智慧城市网络设备的运行数据确定的;
所述目标参数包括规模参数和形状参数。
在一些实施例中,所述基于目标数据和极大似然估计方法,确定广义帕累托分布模型的目标参数,包括:
基于目标性能数据和极大似然估计方法,确定所述目标性能数据的平均值和方差;
基于所述平均值和方差,确定广义帕累托分布模型的目标参数。
在一些实施例中,所述基于所述目标参数,确定智慧城市网络设备性能的异常阈值,包括:
基于所述目标参数,确定智慧城市网络设备性能的异常极大值和异常极小值。
在一些实施例中,所述基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数之前,还包括:
基于异常边界阈值的检测方法,确定所述目标性能数据的风险系数、初始低值阈值和初始高值阈值。
在一些实施例中,所述基于所述目标参数,确定智慧城市网络设备性能的异常极大值和异常极小值的公式为:
其中,zt为异常极大值,zb为异常极小值,t为初始高值阈值,b为初始低值阈值,α为规模参数,γ为形状参数,q为风险系数,n为观测总数,Nt为峰值数。
在一些实施例中,所述基于所述平均值和方差,确定广义帕累托分布模型的目标参数的公式为:
其中,α为规模参数,γ为形状参数,μ为平均值,σ2为方差。
本发明还提供一种基于极值理论的智慧城市网络设备性能异常阈值评估装置,包括:
确定模块,用于基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数;
评估模块,用于基于所述目标参数,确定智慧城市网络设备性能的异常阈值;
所述目标性能数据是基于智慧城市网络设备的运行数据确定的;
所述目标参数包括规模参数和形状参数。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于极值理论的智慧城市网络设备性能异常阈值评估方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于极值理论的智慧城市网络设备性能异常阈值评估方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于极值理论的智慧城市网络设备性能异常阈值评估方法。
本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法,通过使用极大似然估计方法确定广义帕累托分布的参数,解决了一般参数估计方法准确率低,性能低效的问题,并且极大似然估计方法大样本下一致收敛更强并且趋于正态分布,使得到的广义帕累托分布的参数更加接近真实值,为广义帕累托分布求解异常边界阈值打下基础,提高了异常边界阈值计算的准确率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法的流程示意图之一;
图2是本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法的流程示意图之二;
图3是本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估装置的结构示意图;
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合图1-图4描述本发明的基于极值理论的智慧城市网络设备性能异常阈值评估方法及装置。
图1是本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法的流程示意图之一,参考图1,本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法,可以包括:
步骤110、基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数;
步骤120、基于目标参数,确定智慧城市网络设备性能的异常阈值;
目标性能数据是基于智慧城市网络设备的运行数据确定的;
目标参数包括规模参数和形状参数。
需要说明的是,本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digitalassistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(Network AttachedStorage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本发明不作具体限定。
在步骤110中,基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数。
根据采集的智慧城市网络设备的运行数据,确定目标性能数据,目标性能数据可以包括:网络流量数据,网络延迟数据,接入设备数量数据等。
根据极大似然估计方法对目标性能数据进行计算,确定广义帕累托分布模型的规模参数和形状参数。
在步骤120中,基于目标参数,确定智慧城市网络设备性能的异常阈值。
根据极大似然估计方法计算得到广义帕累托分布模型的目标参数之后,通过广义帕累托分布求解智慧城市网络设备性能的异常边界阈值,从而实现准确评估智慧城市网络设备性能是否异常。
本发明实施例提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法,通过使用极大似然估计方法确定广义帕累托分布的参数,解决了一般参数估计方法准确率低,性能低效的问题,并且极大似然估计方法大样本下一致收敛更强并且趋于正态分布,使得到的广义帕累托分布的参数更加接近真实值,为广义帕累托分布求解异常边界阈值打下基础,提高了异常边界阈值计算的准确率。
在一些实施例中,基于目标数据和极大似然估计方法,确定广义帕累托分布模型的目标参数,包括:
基于目标性能数据和极大似然估计方法,确定目标性能数据的平均值和方差;
基于平均值和方差,确定广义帕累托分布模型的目标参数。
对于广义帕累托分布模型,其平均值和方差可以表示为:
其中,E(Y)为平均值,var(Y)为方差,α为广义帕累托分布模型的规模参数,γ为广义帕累托分布模型的形状参数。
基于采集的目标性能数据X={X1,…,Xn},采用极大似然估计方法求出对应的平均值和方差:
其中,μ为似然函数变量的平均值,σ2为似然函数变量的方差,为变量X的平均值。
根据公式(1)-(2),以及公式(6),用μ代替E(Y),σ2代替var(Y),做一个参数估计,其中Yi是超过顶点的随机变量(对Xi>t,Yi=Xi-t,Xi是一个采样点,t是初始化阈值),Nt是满足t<Xi≤zq的Xi个数。
可以通过以下两个公式估计广义帕累托分布的参数γ和α。
本发明实施例提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法,通过使用极大似然估计方法来确定广义帕累托分布模型中的参数,解决了其他参数估计方法在数据量较大情况下效率低的问题,且极大似然估计在大样本下一致收敛更强并且趋于正态分布,时间复杂度低,效率及鲁棒性高。
在一些实施例中,基于目标参数,确定智慧城市网络设备性能的异常阈值,包括:
基于目标参数,确定智慧城市网络设备性能的异常极大值和异常极小值。
对输入流式数据x进行归一化处理:
归一化处理后使数据分布在(0,1)之间。
标准广义极值分布的分布函数如下:
根据已有理论,当X超过初始高值阈值t时,记X-t=Y,Y遵循参数为形状参数γ,规模参数α的广义帕累托分布。在边界极端情况下原始数据的异常极值都服从于广义帕累托分布模型,极大值检测方法如下所示:
由于现有基于极值理论的异常检测,仅考虑了异常极大值的检测情况,在异常极小值情况下表现效果较差,因此本发明扩展了极值理论在极小值情况下的适用性,提出在极小值情况下的异常检测公式,其公式如下:
其中,b为初始低值阈值。
根据极值理论和极大值异常和极小值异常的不同,将极值进一步细化为异常极大值边界zt,异常极小值边界zb,计算方法如下所示:
其中,t为初始高值阈值,b为初始低值阈值,q为风险系数,n为观测总数,Nt为峰值数,即Xi>t时Xi的数量。
本发明实施例提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法,通过基于极值理论,引入广义帕累托分布进行异常边界求解,在经典广义帕累托分布模型上加以改进,根据已有的异常极大值,引入异常极小值的概念,完善异常边界阈值的推导方式,求解得到异常极大值和异常极小值,解决了现有基于极值的方法在极小值范围下无法检测异常的问题。
在一些实施例中,基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数之前,还包括:
基于异常边界阈值的检测方法,确定目标性能数据的风险系数、初始低值阈值和初始高值阈值。
令某性能指标X={X1,…,Xn}是一个随机变量,F是其累积分布函数:F(X)=P(X≤x)。表示分布F的尾部:
对于X表示的随机变量和给定风险系数q,使用zq表示F的1-q位分位数,对于随机变量取正常范围的值X≤zq:
P(X≤zq)≥1-q (16)
其中关于异常边界zq的求解,就是要找到一个分位数zq使得X>zq这个事件在随机事件X的分布中是小概率事件,本发明通过zq进行异常检测。换言之当X>zq时,此事件发生的概率极小。
P(X>zq)<q (17)
通过使用基于异常边界阈值的异常检测方法,设定性能指标的风险系数,设定边界异常值,规定性能指标的正常范围。
本发明实施例提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法,通过使用基于异常边界阈值的异常检测方法,设定性能指标的风险系数,设定边界异常值,规定性能指标的正常范围。
图2是本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法的流程示意图之二,参照图2,本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法,可以包括:
步骤210、基于异常阈值的异常检测方法,确定异常边界的概念。
使用基于异常边界阈值的异常检测方法,设定性能指标的风险系数,设定边界异常值,规定性能指标的正常范围,具体计算过程可参考公式(15)-(17)。
步骤220、基于极大似然估计方法,确定广义帕累托分布的参数。
使用基于极大似然估计方法求解广义帕累托分布的参数,根据广义帕累托分布模型的平均值和方差,将其与极大似然估计的方法相匹配,求解广义帕累托分布模型的对应参数,为步骤230使用广义帕累托分布模型求解异常边界阈值提供分布参数γ和α,具体计算过程可参考公式(1)-(8)。
步骤230、基于广义帕累托分布的异常边界求解方法,确定异常边界。
使用基于广义帕累托分布的异常边界求解方法求出异常边界,先将流式性能指标数据归一化处理,再使用广义帕累托分布拟合指标的极端分布情况,采用步骤220得到的分布参数,分别求解异常极大值边界zt和异常极小值边界zb,具体计算过程可参考公式(9)-(14)。
下面结合具体场景,对本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法进行详细描述,具体步骤如下:
S1、使用采集到的网络运行数据中网络流量大小作为性能指标,取网络流量大小X={X1,…,Xn}={15.43,23.09,48.53,5.62,0.53…,18.66},其中X为10维数据,由公式(15)-(17)可知,求解异常阈值需要设置初始风险参数q,此处设置q=0.9,初始高值阈值t=0.98,初始低值阈值b=0.05。
S2、采用极大似然估计方法进行参数估计,将X={X1,…,Xn}代入公式(3)至公式(6),可以得到极大似然估计中μ=25.38,σ2=13.52。再将μ和σ2代入公式(7)和(8),得到广义帕累托分布的参数分别是α=617.29,γ=-23.32。
S3、根据S2的结果,将参数估计求解的参数代入广义帕累托分布模型中,在实际进行异常阈值边界求解时,先将X={X1,…,Xn}进行归一化处理,将X代入公式(9)得到归一化后的X={0.58,0.72,0.93,0.23,0.04,…,0.61}。根据公式(11)和公式(12),初始阈值t=0.98,b=0.05。将S2得到的参数以及初始阈值代入公式(13)以及公式(14),最终得到异常极大值边界zt=0.96,异常极小值边界zb=0.03。
本发明实施例提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法,使用极大似然估计方法来确定广义帕累托分布模型中的参数,解决了其他参数估计方法在数据量较大情况下效率低的问题,且极大似然估计在大样本下一致收敛更强并且趋于正态分布,时间复杂度低,效率及鲁棒性高。基于极值理论,引入广义帕累托分布进行异常边界求解,在经典广义帕累托分布模型上加以改进,根据已有的异常极大值,引入异常极小值的概念,完善异常边界阈值的推导方式,求解得到异常极大值和异常极小值。
此外,本发明实施例提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法,方法解决了现有性能指标异常检测算法存在依赖于手动设置阈值或假定数据服从某种分布的理想场景等问题。首先本发明基于极值理论来准确估计低概率区域,然后区分异常值。然后,提出了异常低值边界计算公式解决了现有基于极值的方法在极小值范围下无法检测异常的问题。不仅避免了现有算法依赖于人工阈值的问题,还避免了算法过分依赖于性能指标数学分布的问题,可以根据最新时序数据自动地迭代更新异常边界阈值。
下面对本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估装置进行描述,下文描述的基于极值理论的智慧城市网络设备性能异常阈值评估装置与上文描述的基于极值理论的智慧城市网络设备性能异常阈值评估方法可相互对应参照。
图3是本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估装置的结构示意图,参照图3,本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估装置,可以包括:
确定模块310,用于基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数;
评估模块320,用于基于目标参数,确定智慧城市网络设备性能的异常阈值;
目标性能数据是基于智慧城市网络设备的运行数据确定的;
目标参数包括规模参数和形状参数。
本发明实施例提供的基于极值理论的智慧城市网络设备性能异常阈值评估装置,通过使用极大似然估计方法确定广义帕累托分布的参数,解决了一般参数估计方法准确率低,性能低效的问题,并且极大似然估计方法大样本下一致收敛更强并且趋于正态分布,使得到的广义帕累托分布的参数更加接近真实值,为广义帕累托分布求解异常边界阈值打下基础,提高了异常边界阈值计算的准确率。
在一些实施例中,确定模块310具体用于:
基于目标性能数据和极大似然估计方法,确定目标性能数据的平均值和方差;
基于平均值和方差,确定广义帕累托分布模型的目标参数。
在一些实施例中,评估模块320,具体用于:
基于目标参数,确定智慧城市网络设备性能的异常极大值和异常极小值。
在一些实施例中,基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数之前,还包括:
基于异常边界阈值的检测方法,确定目标性能数据的风险系数、初始低值阈值和初始高值阈值。
在一些实施例中,基于目标参数,确定智慧城市网络设备性能的异常极大值和异常极小值的公式为:
其中,zt为异常极大值,zb为异常极小值,t为初始高值阈值,b为初始低值阈值,α为规模参数,γ为形状参数,q为风险系数,n为观测总数,Nt为峰值数。
在一些实施例中,基于平均值和方差,确定广义帕累托分布模型的目标参数的公式为:
其中,α为规模参数,γ为形状参数,μ为平均值,σ2为方差。
图4示例了一种电子设备的实体结构示意图,如图4所示,该电子设备可以包括:处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令,以执行基于极值理论的智慧城市网络设备性能异常阈值评估方法,该方法包括:
基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数;
基于目标参数,确定智慧城市网络设备性能的异常阈值;
目标性能数据是基于智慧城市网络设备的运行数据确定的;
目标参数包括规模参数和形状参数。
此外,上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法,该方法包括:
基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数;
基于目标参数,确定智慧城市网络设备性能的异常阈值;
目标性能数据是基于智慧城市网络设备的运行数据确定的;
目标参数包括规模参数和形状参数。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法,该方法包括:
基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数;
基于目标参数,确定智慧城市网络设备性能的异常阈值;
目标性能数据是基于智慧城市网络设备的运行数据确定的;
目标参数包括规模参数和形状参数。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种基于极值理论的智慧城市网络设备性能异常阈值评估方法,其特征在于,包括:
基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数;
基于所述目标参数,确定智慧城市网络设备性能的异常阈值;
所述目标性能数据是基于智慧城市网络设备的运行数据确定的;
所述目标参数包括规模参数和形状参数;
所述基于所述目标参数,确定智慧城市网络设备性能的异常阈值,包括:
基于所述目标参数,确定智慧城市网络设备性能的异常极大值和异常极小值;
所述基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数之前,还包括:
基于异常边界阈值的检测方法,确定所述目标性能数据的风险系数、初始低值阈值和初始高值阈值;
所述基于所述目标参数,确定智慧城市网络设备性能的异常极大值和异常极小值的公式为:
其中,zt为异常极大值,zb为异常极小值,t为初始高值阈值,b为初始低值阈值,α为规模参数,γ为形状参数,q为风险系数,n为观测总数,Nt为峰值数。
2.根据权利要求1所述的基于极值理论的智慧城市网络设备性能异常阈值评估方法,其特征在于,所述基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数,包括:
基于目标性能数据和极大似然估计方法,确定所述目标性能数据的平均值和方差;
基于所述平均值和方差,确定广义帕累托分布模型的目标参数。
3.根据权利要求2所述的基于极值理论的智慧城市网络设备性能异常阈值评估方法,其特征在于,所述基于所述平均值和方差,确定广义帕累托分布模型的目标参数的公式为:
其中,α为规模参数,γ为形状参数,μ为平均值,σ2为方差。
4.一种基于极值理论的智慧城市网络设备性能异常阈值评估装置,其特征在于,包括:
确定模块,用于基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数;
评估模块,用于基于所述目标参数,确定智慧城市网络设备性能的异常阈值;
所述目标性能数据是基于智慧城市网络设备的运行数据确定的;
所述目标参数包括规模参数和形状参数;
所述评估模块,具体用于:基于目标参数,确定智慧城市网络设备性能的异常极大值和异常极小值;
所述基于目标性能数据和极大似然估计方法,确定广义帕累托分布模型的目标参数之前,还包括:基于异常边界阈值的检测方法,确定目标性能数据的风险系数、初始低值阈值和初始高值阈值;
所述基于目标参数,确定智慧城市网络设备性能的异常极大值和异常极小值的公式为:
其中,zt为异常极大值,zb为异常极小值,t为初始高值阈值,b为初始低值阈值,α为规模参数,γ为形状参数,q为风险系数,n为观测总数,Nt为峰值数。
5.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至3任一项所述基于极值理论的智慧城市网络设备性能异常阈值评估方法。
6.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述基于极值理论的智慧城市网络设备性能异常阈值评估方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210376980.XA CN115001997B (zh) | 2022-04-11 | 2022-04-11 | 基于极值理论的智慧城市网络设备性能异常阈值评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210376980.XA CN115001997B (zh) | 2022-04-11 | 2022-04-11 | 基于极值理论的智慧城市网络设备性能异常阈值评估方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115001997A CN115001997A (zh) | 2022-09-02 |
CN115001997B true CN115001997B (zh) | 2024-02-09 |
Family
ID=83023390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210376980.XA Active CN115001997B (zh) | 2022-04-11 | 2022-04-11 | 基于极值理论的智慧城市网络设备性能异常阈值评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115001997B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012160350A1 (en) * | 2011-05-24 | 2012-11-29 | Isis Innovation Limited | System monitor and method of system monitoring |
CN106646417A (zh) * | 2016-12-29 | 2017-05-10 | 西安电子科技大学 | 广义帕累托分布参数的迭代最大似然估计方法 |
WO2017109487A1 (en) * | 2015-12-22 | 2017-06-29 | Premaitha Limited | Detection of chromosome abnormalities |
CN107271979A (zh) * | 2017-06-13 | 2017-10-20 | 西安电子科技大学 | 广义帕累托分布参数联合双分位点估计方法 |
WO2018076571A1 (zh) * | 2016-10-28 | 2018-05-03 | 南京华苏科技有限公司 | Lte网络中的异常值检测方法及系统 |
WO2020248291A1 (en) * | 2019-06-11 | 2020-12-17 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for anomaly detection |
CN112163624A (zh) * | 2020-09-30 | 2021-01-01 | 上海交通大学 | 基于深度学习和极值理论的数据异常判断方法及系统 |
CN112766342A (zh) * | 2021-01-12 | 2021-05-07 | 安徽容知日新科技股份有限公司 | 一种电气设备的异常检测方法 |
CN112882954A (zh) * | 2021-03-25 | 2021-06-01 | 浪潮云信息技术股份公司 | 一种分布式数据库运维动态阈值告警方法及装置 |
CN113298424A (zh) * | 2021-06-17 | 2021-08-24 | 哈尔滨工程大学 | 一种小样本完好性风险评估方法 |
CN113466811A (zh) * | 2021-05-11 | 2021-10-01 | 西安电子科技大学 | 广义帕累托海杂波幅值模型的三分位点参数估计方法 |
WO2021261917A1 (en) * | 2020-06-23 | 2021-12-30 | Samsung Electronics Co., Ltd. | Method and apparatus for handling performance of edge network entities in a mobile communication system |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8175830B2 (en) * | 2008-10-31 | 2012-05-08 | International Business Machines Corporation | Frequency estimation of rare events by adaptive thresholding |
US9788282B2 (en) * | 2015-11-30 | 2017-10-10 | Veniam, Inc. | Systems and methods for improving fixed access point coverage in a network of moving things |
CN108923952B (zh) * | 2018-05-31 | 2021-11-30 | 北京百度网讯科技有限公司 | 基于服务监控指标的故障诊断方法、设备及存储介质 |
-
2022
- 2022-04-11 CN CN202210376980.XA patent/CN115001997B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012160350A1 (en) * | 2011-05-24 | 2012-11-29 | Isis Innovation Limited | System monitor and method of system monitoring |
WO2017109487A1 (en) * | 2015-12-22 | 2017-06-29 | Premaitha Limited | Detection of chromosome abnormalities |
WO2018076571A1 (zh) * | 2016-10-28 | 2018-05-03 | 南京华苏科技有限公司 | Lte网络中的异常值检测方法及系统 |
CN106646417A (zh) * | 2016-12-29 | 2017-05-10 | 西安电子科技大学 | 广义帕累托分布参数的迭代最大似然估计方法 |
CN107271979A (zh) * | 2017-06-13 | 2017-10-20 | 西安电子科技大学 | 广义帕累托分布参数联合双分位点估计方法 |
WO2020248291A1 (en) * | 2019-06-11 | 2020-12-17 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for anomaly detection |
WO2021261917A1 (en) * | 2020-06-23 | 2021-12-30 | Samsung Electronics Co., Ltd. | Method and apparatus for handling performance of edge network entities in a mobile communication system |
CN112163624A (zh) * | 2020-09-30 | 2021-01-01 | 上海交通大学 | 基于深度学习和极值理论的数据异常判断方法及系统 |
CN112766342A (zh) * | 2021-01-12 | 2021-05-07 | 安徽容知日新科技股份有限公司 | 一种电气设备的异常检测方法 |
CN112882954A (zh) * | 2021-03-25 | 2021-06-01 | 浪潮云信息技术股份公司 | 一种分布式数据库运维动态阈值告警方法及装置 |
CN113466811A (zh) * | 2021-05-11 | 2021-10-01 | 西安电子科技大学 | 广义帕累托海杂波幅值模型的三分位点参数估计方法 |
CN113298424A (zh) * | 2021-06-17 | 2021-08-24 | 哈尔滨工程大学 | 一种小样本完好性风险评估方法 |
Non-Patent Citations (4)
Title |
---|
《广义误差帕累托分布及其在保险中的应用》;马跃,彭作祥;《西南大学学报(自然科学版)》;99-102 * |
19th Int Conf on Smart City;7th Int Conf on Dependability in Sensor, Cloud & Big Data Systems & Application (HPCC/DSS/SmartCity/DependSys)》.2021,456-61. * |
7th Int Conf on Data Science & Systems * |
Baohui Li;Miaomiao Wang;Shiyou Chen;Lanlan Rui;Yang Yang;Zhipeng Gao.《Distributed pseudonym mechanism based on Consortium Blockchain》.《2021 IEEE 23rd Int Conf on High Performance Computing & Communications * |
Also Published As
Publication number | Publication date |
---|---|
CN115001997A (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110880984B (zh) | 基于模型的流量异常监测方法、装置、设备及存储介质 | |
US7243049B1 (en) | Method for modeling system performance | |
CN114978956B (zh) | 智慧城市网络设备性能异常突变点检测方法及装置 | |
CN113127305B (zh) | 异常检测方法及装置 | |
CN116049146B (zh) | 一种数据库故障处理方法、装置、设备及存储介质 | |
CN110570544A (zh) | 飞机燃油系统故障识别方法、装置、设备和存储介质 | |
CN111314173A (zh) | 监控信息异常的定位方法、装置、计算机设备及存储介质 | |
CN114338372B (zh) | 网络信息安全监控方法及系统 | |
CN112801434A (zh) | 性能指标健康度的监测方法、装置、设备和存储介质 | |
WO2024104401A1 (zh) | 基于强化学习的云网络异常检测模型训练方法及存储介质 | |
CN113627361B (zh) | 人脸识别模型的训练方法、装置及计算机程序产品 | |
CN111340287A (zh) | 配电柜运行状态预测方法及装置 | |
CN109960626B (zh) | 端口异常的识别方法、装置、设备及介质 | |
CN114564814A (zh) | 一种针对稀疏数据的动态阈值高斯核密度估计系统和方法 | |
CN117193088B (zh) | 一种工业设备监控方法、装置以及服务器 | |
CN115705413A (zh) | 异常日志的确定方法及装置 | |
CN115001997B (zh) | 基于极值理论的智慧城市网络设备性能异常阈值评估方法 | |
WO2024093256A1 (zh) | 一种异常根因定位方法、装置、设备及介质 | |
CN112463564A (zh) | 确定影响主机状态的关联指标的方法及装置 | |
CN114760190B (zh) | 一种面向服务的融合网络性能异常检测方法 | |
CN112100037B (zh) | 告警级别识别方法、装置、电子设备及存储介质 | |
CN113434823A (zh) | 数据采集任务异常预警方法、装置、计算机设备和介质 | |
CN111722977A (zh) | 系统巡检方法、装置及电子设备 | |
CN111176931A (zh) | 一种运营监控方法、装置、服务器及存储介质 | |
CN116149971B (zh) | 设备故障预测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |