CN115442271A - 一种网络性能指标时序数据异常检测方法 - Google Patents
一种网络性能指标时序数据异常检测方法 Download PDFInfo
- Publication number
- CN115442271A CN115442271A CN202211039616.0A CN202211039616A CN115442271A CN 115442271 A CN115442271 A CN 115442271A CN 202211039616 A CN202211039616 A CN 202211039616A CN 115442271 A CN115442271 A CN 115442271A
- Authority
- CN
- China
- Prior art keywords
- data
- abnormal
- window
- value
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Mining & Analysis (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种网络性能指标时序数据异常检测方法,通过建立3个随着时间推移而滑动的滑动窗口,计算变异值vary、偏离度drift、异常评分score,用数据自身的特征,实时检测数据是否异常;本发明无需人工设定阈值,提高了异常检测的精准率,减少了工作量,降低了数据异常检测的人力成本;本发明不对数据做分解,不依赖数据周期,不依赖长期的历史数据,可以很好的适应网络状况的动态变化;本发明还基于第三个窗口的异常评分判断是否异常,异常评分基于数据本身计算得到,从而降低了报警的错误率,提高了整个网络环境的容错率。
Description
技术领域
本发明涉及网络通信领域,具体涉及一种网络性能指标时序数据异常检测方法。
背景技术
在通信行业,为了保证网络健康稳定的提供服务,会对网络中采集到的性能指标数据进行检测,以判断网络运行是否正常,如果网络运行不正常,会影响网络服务的质量,需要采取补救措施。
当前的数据异常检测方法主要有:基于经验设置固定阈值的方法;基于历史数据构建预测模型检测数据中的异常。
网络是复杂且多样的,网络中有众多的终端、服务端以及连接两者之间的网络设备,形成了庞大而错综复杂的网络关系,采用基于经验设置固定阈值的方法,需要为每一条路径上的每一个指标设定阈值,工作量大,人力成本高,且阈值设定完全依靠人为经验,准确性差;网络运行过程中的路由信息是动态变化的,从一个IP到另一个IP的路由会随着网络状况动态切换,难以满足同一路径获得足够多的建模所需训练数据,基于历史数据构建模型的方法难以适应实际网络环境。
发明内容
本发明解决的技术问题是:克服了现有建模技术的缺点,提供了一种网络性能指标时序数据异常检测方法。
本发明的目的是通过以下技术方案来实现的:
一种网络性能指标时序数据异常检测方法,通过建立3个随着时间推移而滑动的滑动窗口,计算变异值vary、偏离度drift、异常评分score,用数据自身的特征,实时检测数据是否异常。
具体的,包括以下步骤:
步骤1:将获取到的时序数据,根据时间先后放入窗口长度均为WSize的时序滑动窗口W1、滑动窗口W2和滑动窗口W3;
步骤2:计算窗口W3内待检测数据相对于窗口W1内数据的变异值vary;
步骤3:根据滑动窗口W1、W2内的数据,计算密度估计值;
根据滑动窗口W1、W2内的数据,计算密度估计值,得到数据点的数据密度的连续估计,从而推断出数据总体的分布;
还包括核函数f(x),所述核函数f(x)基于N个数据,所述密度估计值是与数据中每个点相关的核函数的平滑值之和,所述密度估计值的计算式为:
所述核函数能选取包括高斯核函数的函数,计算式为:
其中h为核函数带宽,d为数据的维度;
步骤4:计算敏感参数值shift;
所述alpha取值为0.01或0.05;
步骤5:计算窗口W3的偏离度drift;
步骤6:计算滑动窗口W3的异常评分score;
所述异常评分score的计算公式为:
score=vary*power(if(drift≤(WSize/2-1),0,drift/(WSize/2)),p)
其中,p为基数乘幂运算的指数;
步骤7:判断窗口W3的异常评分score;
所述判断窗口W3的异常评分score包括以下子步骤:
若异常评分score<=0,则识别为指标时序数据正常,滑动窗口W1、W2、W3按照时间轴方向同时右移1个单位,再次计算变异值vary、偏离度drift和异常评分score;
若异常评分score>0,则识别为指标时序数据异常,同时锁定窗口W1、W2,窗口W3按照时间轴方向右移1个单位,再次计算变异值vary、偏离度drift、异常评分score;
识别为指标时序数据异常后,若异常评分score连续两次<=0,识别为指标时序数据异常结束,否则,识别为指标时序数据异常持续。
具体的,还包括基于数据源获取网络性能指标时序数据,再按照指标进行分组的步骤。
具体的,所述变异值vary表示当前数据的总量水平乘以其总体差异与基准数据相同计算口径的比值,计算表达式为:
其中,{x1,x2,…,xn}∈W3;
{y1,y2,…,yn}∈W1;
sum算子的定义如下:
stdeva算子定义如下:
具体的,所述偏离度表示滑动窗口W3内的数据中偏离特征上限的样本量,计算表达式为:
drift=countif(w3,">"&average(w1)+shift)
其中,shift为偏离度的敏感参数;
average算子定义如下:
本发明的有益效果:
1.本发明克服了基于经验设置固定阈值的方法需要为每一条路径上的每一个指标设定阈值,工作量大,人力成本高,且阈值设定完全依靠人为经验,准确性差的不足。
2.本发明无需人工设定阈值,提高了异常检测的精准率,减少了工作量,降低了数据异常检测的人力成本;本发明不对数据做分解,不依赖数据周期,不依赖长期的历史数据,可以很好的适应网络状况的动态变化。
3.本发明基于第三个窗口的异常评分判断是否异常,异常评分基于数据本身计算得到,从而降低了报警的错误率,提高了整个网络环境的容错率。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
为了对本发明的技术特征、目的和有益效果有更加清楚的理解,现对本发明的技术方案精选以下详细说明。显然,所描述的实施案例是本发明一部分实施例,而不是全部实施例,不能理解为对本发明可实施范围的限定。基于本发明的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的其他所有实施例,都属于本发明的保护范围。
实施例1
一种网络性能指标时序数据异常检测方法,通过建立3个随着时间推移而滑动的滑动窗口,计算变异值vary、偏离度drift、异常评分score,用数据自身的特征,实时检测数据是否异常。
具体的,包括以下步骤:
步骤1:将获取到的时序数据,根据时间先后放入窗口长度均为WSize的时序滑动窗口W1、滑动窗口W2和滑动窗口W3;
步骤2:计算窗口W3内待检测数据相对于窗口W1内数据的变异值vary;
步骤3:根据滑动窗口W1、W2内的数据,计算密度估计值;
根据滑动窗口W1、W2内的数据,计算密度估计值,得到数据点的数据密度的连续估计,从而推断出数据总体的分布;
还包括核函数f(x),所述核函数f(x)基于N个数据,所述密度估计值是与数据中每个点相关的核函数的平滑值之和,所述密度估计值的计算式为:
所述核函数能选取包括高斯核函数的函数,计算式为:
其中h为核函数带宽,d为数据的维度;
步骤4:计算敏感参数值shift;
所述alpha取值为0.01或0.05;
步骤5:计算窗口W3的偏离度drift;
步骤6:计算滑动窗口W3的异常评分score;
所述异常评分score的计算公式为:
score=vary*power(if(drift≤(WSize/2-1),0,drift/(WSize/2)),p)
其中,p为基数乘幂运算的指数;
步骤7:判断窗口W3的异常评分score;
所述判断窗口W3的异常评分score包括以下子步骤:
若异常评分score<=0,则识别为指标时序数据正常,滑动窗口W1、W2、W3按照时间轴方向同时右移1个单位,再次计算变异值vary、偏离度drift和异常评分score;
若异常评分score>0,则识别为指标时序数据异常,同时锁定窗口W1、W2,窗口W3按照时间轴方向右移1个单位,再次计算变异值vary、偏离度drift、异常评分score;
识别为指标时序数据异常后,若异常评分score连续两次<=0,识别为指标时序数据异常结束,否则,识别为指标时序数据异常持续。
具体的,还包括基于数据源获取网络性能指标时序数据,再按照指标进行分组的步骤。
具体的,所述变异值vary表示当前数据的总量水平乘以其总体差异与基准数据相同计算口径的比值,计算表达式为:
其中,{x1,x2,…,xn}∈W3;
{y1,y2,…,yn}∈W1;
sum算子的定义如下:
stdeva算子定义如下:
具体的,所述偏离度表示滑动窗口W3内的数据中偏离特征上限的样本量,计算表达式为:
drift=countif(w3,">"&average(w1)+shift)
其中,shift为偏离度的敏感参数;
average算子定义如下:
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和单元并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其他实施例的相关描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、ROM、RAM等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (5)
1.一种网络性能指标时序数据异常检测方法,其特征在于,通过建立3个随着时间推移而滑动的滑动窗口,计算变异值vary、偏离度drift、异常评分score,用数据自身的特征,实时检测数据是否异常。
2.根据权利要求1所述的一种网络性能指标时序数据异常检测方法,其特征在于,包括以下步骤:
步骤1:将获取到的时序数据,根据时间先后放入窗口长度均为WSize的时序滑动窗口W1、滑动窗口W2和滑动窗口W3;
步骤2:计算窗口W3内待检测数据相对于窗口W1内数据的变异值vary;
步骤3:根据滑动窗口W1、W2内的数据,计算密度估计值;
根据滑动窗口W1、W2内的数据,计算密度估计值,得到数据点的数据密度的连续估计,从而推断出数据总体的分布;
还包括核函数f(x),所述核函数f(x)基于N个数据,所述密度估计值是与数据中每个点相关的核函数的平滑值之和,所述密度估计值的计算式为:
所述核函数能选取包括高斯核函数的函数,计算式为:
其中h为核函数带宽,d为数据的维度;
步骤4:计算敏感参数值shift;
所述alpha取值为0.01或0.05;
步骤5:计算窗口W3的偏离度drift;
步骤6:计算滑动窗口W3的异常评分score;
所述异常评分score的计算公式为:
score=vary*power(if(drift≤(WSize/2-1),0,drift/(WSize/2)),p)
其中,p为基数乘幂运算的指数;
步骤7:判断窗口W3的异常评分score;
所述判断窗口W3的异常评分score包括以下子步骤:
若异常评分score<=0,则识别为指标时序数据正常,滑动窗口W1、W2、W3按照时间轴方向同时右移1个单位,再次计算变异值vary、偏离度drift和异常评分score;
若异常评分score>0,则识别为指标时序数据异常,同时锁定窗口W1、W2,窗口W3按照时间轴方向右移1个单位,再次计算变异值vary、偏离度drift、异常评分score;
识别为指标时序数据异常后,若异常评分score连续两次<=0,识别为指标时序数据异常结束,否则,识别为指标时序数据异常持续。
3.根据权利要求2所述的一种网络性能指标时序数据异常检测方法,其特征在于,还包括基于数据源获取网络性能指标时序数据,再按照指标进行分组的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211039616.0A CN115442271B (zh) | 2022-08-29 | 2022-08-29 | 一种网络性能指标时序数据异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211039616.0A CN115442271B (zh) | 2022-08-29 | 2022-08-29 | 一种网络性能指标时序数据异常检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115442271A true CN115442271A (zh) | 2022-12-06 |
CN115442271B CN115442271B (zh) | 2023-09-26 |
Family
ID=84244214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211039616.0A Active CN115442271B (zh) | 2022-08-29 | 2022-08-29 | 一种网络性能指标时序数据异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115442271B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111562996A (zh) * | 2020-04-11 | 2020-08-21 | 北京交通大学 | 一种关键性能指标数据的时序异常检测方法及系统 |
CN112581719A (zh) * | 2020-11-05 | 2021-03-30 | 清华大学 | 基于时序生成对抗网络的半导体封装过程预警方法和装置 |
CN112733417A (zh) * | 2020-11-16 | 2021-04-30 | 南京邮电大学 | 一种基于模型优化的异常负荷数据检测与修正方法和系统 |
US20210271449A1 (en) * | 2020-03-02 | 2021-09-02 | Oracle International Corporation | Automatic Asset Anomaly Detection in a Multi-Sensor Network |
CN114386324A (zh) * | 2021-12-27 | 2022-04-22 | 上海电力大学 | 一种基于转折性时段识别的超短期风电功率分段预测方法 |
-
2022
- 2022-08-29 CN CN202211039616.0A patent/CN115442271B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210271449A1 (en) * | 2020-03-02 | 2021-09-02 | Oracle International Corporation | Automatic Asset Anomaly Detection in a Multi-Sensor Network |
CN111562996A (zh) * | 2020-04-11 | 2020-08-21 | 北京交通大学 | 一种关键性能指标数据的时序异常检测方法及系统 |
CN112581719A (zh) * | 2020-11-05 | 2021-03-30 | 清华大学 | 基于时序生成对抗网络的半导体封装过程预警方法和装置 |
CN112733417A (zh) * | 2020-11-16 | 2021-04-30 | 南京邮电大学 | 一种基于模型优化的异常负荷数据检测与修正方法和系统 |
CN114386324A (zh) * | 2021-12-27 | 2022-04-22 | 上海电力大学 | 一种基于转折性时段识别的超短期风电功率分段预测方法 |
Non-Patent Citations (2)
Title |
---|
JOSE M. GIL-CACHO; MARCO SIGNORETTO; TOON VAN WATERSCHOOT; MARC MOONEN; SØREN HOLDT JENSEN: "Nonlinear Acoustic Echo Cancellation Based on a Sliding-Window Leaky Kernel Affine Projection Algorithm", IEEE TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING ( VOLUME: 21, ISSUE: 9, SEPTEMBER 2013) * |
朱虹: "基于核密度估计的环境传感器数据流异常检测方法", 中国优秀硕士学位论文全文数据库 * |
Also Published As
Publication number | Publication date |
---|---|
CN115442271B (zh) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112527788B (zh) | 变压器监测数据异常值检测与清洗的方法及装置 | |
CN109816031B (zh) | 一种基于数据不均衡度量的变压器状态评估聚类分析方法 | |
CN113032238B (zh) | 基于应用知识图谱的实时根因分析方法 | |
CN112508243B (zh) | 电力信息系统多故障预测网络模型的训练方法及装置 | |
CN111913803A (zh) | 一种基于akx混合模型的服务负载细粒度预测方法 | |
CN111610407A (zh) | 基于朴素贝叶斯的电缆老化状态评估方法和装置 | |
CN111709668A (zh) | 基于数据挖掘技术的电网设备参数风险识别方法及装置 | |
CN112416662A (zh) | 多时间序列数据异常检测方法与装置 | |
CN117041029A (zh) | 网络设备故障处理方法、装置、电子设备及存储介质 | |
CN111626351B (zh) | 一种用于获取数据分布的概念漂移量的方法和系统 | |
CN111914386A (zh) | 一种基于退化模型不确定分析的可靠性评估方法及系统 | |
CN115658664A (zh) | 基于任意分割异常线损数据修复方法、系统、设备及介质 | |
CN113360359A (zh) | 指标异常数据溯源方法、装置、设备及存储介质 | |
CN115442271A (zh) | 一种网络性能指标时序数据异常检测方法 | |
CN115542236B (zh) | 电能表运行误差估计方法及装置 | |
CN110837953A (zh) | 一种自动化异常实体定位分析方法 | |
CN115412451A (zh) | 一种基于融合模型的互联网链路利用率的预测方法 | |
CN112765219B (zh) | 一种跳过平稳区域的流数据异常检测方法 | |
KR102428867B1 (ko) | 시계열 데이터의 변화 추세를 고려한 유사도 분석 방법 | |
CN114936614A (zh) | 一种基于神经网络的作业风险识别方法及系统 | |
Tao et al. | A new control chart based on the loess smooth applied to information system quality performance | |
CN115001997B (zh) | 基于极值理论的智慧城市网络设备性能异常阈值评估方法 | |
CN116957361B (zh) | 一种基于虚实结合的船舶任务系统健康状态检测方法 | |
TW202221430A (zh) | 用於製程追蹤的自動窗口生成 | |
CN117074913A (zh) | 一种基于多目标优化区间的电路板v-i曲线不确定度量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |