CN110890998A - 一种确定阈值的方法及装置 - Google Patents

一种确定阈值的方法及装置 Download PDF

Info

Publication number
CN110890998A
CN110890998A CN201911076097.3A CN201911076097A CN110890998A CN 110890998 A CN110890998 A CN 110890998A CN 201911076097 A CN201911076097 A CN 201911076097A CN 110890998 A CN110890998 A CN 110890998A
Authority
CN
China
Prior art keywords
data
threshold
period
parameter
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911076097.3A
Other languages
English (en)
Other versions
CN110890998B (zh
Inventor
程潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Wangsu Co Ltd
Original Assignee
Xiamen Wangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Wangsu Co Ltd filed Critical Xiamen Wangsu Co Ltd
Priority to CN201911076097.3A priority Critical patent/CN110890998B/zh
Publication of CN110890998A publication Critical patent/CN110890998A/zh
Application granted granted Critical
Publication of CN110890998B publication Critical patent/CN110890998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • H04L43/0829Packet loss
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种确定阈值的方法及装置,该阈值用于检测网络链路异常;其中,方法包括:获取第一数据;第一数据是在第一周期的第i时刻采集的第i个采样数据,i大于等于1,根据第一数据和N个第二周期的第二数据,确定第一数据对应的第一均值和第一标准差,第二数据是在第二数据对应的第二周期的第i时刻采集的第i个采样数据,第二周期是在第一周期之前的周期,N大于等于1,根据第一均值和第一标准差,确定第一数据对应的第一阈值。该技术方案用以提供一种动态确定阈值的方法,自动适用检测数据的变化,减少误报警。

Description

一种确定阈值的方法及装置
技术领域
本发明实施例涉及网络链路检测领域,尤其涉及一种确定阈值的方法及装置。
背景技术
随着信息技术和互联网的迅速发展,各行业都依赖互联网的基础服务。互联网链路的状态直接影响数据传输的质量和稳定性,对上层应用和服务也会产生很大影响。因此,有必要对链路质量进行实时监控和异常检测,使网络运维人员能及时处理。网络链路的丢包率和时延等检测数据是衡量网络链路质量的重要指标,如何实时有效地从这些检测数据中检测异常值是一个重要的挑战。
现有技术中,主要是根据历史经验人工设置阈值,但该方法需要针对不同项目和网络链路设置不同的阈值,同时检测数据的周期性波动可能会导致大量的误报警。
发明内容
本发明实施例提供一种确定阈值的方法及装置,用以提供一种动态确定阈值的方法,自动适用检测数据的变化,减少误报警。
本发明实施例提供的一种确定阈值的方法,所述阈值用于检测网络链路异常;所述方法包括:
获取第一数据;所述第一数据是在第一周期的第i时刻采集的第i个采样数据;i大于等于1;
根据所述第一数据和N个第二周期的第二数据,确定所述第一数据对应的第一均值和第一标准差;所述第二数据是在所述第二数据对应的第二周期的所述第i时刻采集的第i个采样数据;所述第二周期是在所述第一周期之前的周期;N大于等于1;
根据所述第一均值和所述第一标准差,确定所述第一数据对应的第一阈值。
上述技术方案中,获取第i时刻采集的第一数据后,根据第一数据动态的更新第一数据对应的第一均值和第一标准差,进而动态更新第一数据对应的第一阈值,通过该方式,可以动态确定出用于检测网络链路异常的阈值,自动适用检测数据的变化,减少误报警。对于类似于周期性变化的网络链路的采样数据,可以在每个采样周期相同的采样点处进行采样,确定当前周期的该采样点处的阈值。进一步的,该方式无需进行模型训练,复杂度较低,可以快速实时给出检测结果。
可选的,所述根据所述第一均值和所述第一标准差,确定所述第一数据对应的第一阈值,包括:
根据所述第一均值、所述第一标准差和第一参数,确定所述第一阈值;
其中,所述第一参数为调整参数对应的异常数据的变化量最大时的所述调整参数的取值;所述异常数据为在所述第一数据和所述N个第二数据组成的N+1个采样数据中超出所述调整参数对应的阈值的采样数据;所述调整参数对应的阈值是根据所述第一均值、所述第一标准差和所述调整参数确定的;所述变化量为所述调整参数减去步长值后对应的异常数据的个数和所述调整参数对应的异常数据的个数的差值。
可选的,通过如下方式确定所述第一参数,包括:
根据公式(1)确定所述第一参数;
所述公式(1)为:
z=argmaxz>z0|Ct(z-δ)|-|Ct(z)|
其中,z为第一参数;Ct(z)={xii},Ct(z)为N+1个采样数据中异常数据的集合,xi为每个周期内的第i个采样数据,εi为第一阈值;|Ct(z)|为N+1个采样数据中异常数据的个数;δ为步长值,δ>0;z0为设定的最小的z,z0>0。
可选的,所述根据所述第一均值、所述第一标准差和第一参数,确定所述第一阈值,包括:
根据公式(2)确定所述第一阈值;
所述公式(2)为:
εt=μt+zσt
其中,εt为第一阈值;μt为第一均值;z为第一参数;σt为第一标准差。
上述技术方案中,综合考虑网络链路中运行参数的特性,若是正常数据,则该正常数据距离均值较远的分布变化较为平缓,若为异常数据,则该异常数据可能会导致较大的分布变化,动态确定调整参数,该动态确定的调整参数可以进一步降低误报警。
可选的,在所述确定所述第一数据对应的第一阈值之后,还包括:
获取所述第一周期的下一周期内的第三数据;所述第三数据是在所述第一周期的下一周期的所述第i时刻采样的第i个采样数据;
若所述第三数据大于所述第一阈值,则确定所述第三数据为异常数据。
上述技术方案中,该第一数据对应的第一阈值可用于评估下一周期的第i时刻采集的数据是否异常。对于类似于周期性变化的网络链路的采样数据,可以在每个采样周期相同的采样点处进行采样,确定当前周期的该采样点处的阈值,用于评估下一周期的该采样点的采样数据是否为异常数据,该方式可以确定出当前周期不同采样点对应的不同阈值,适用于同一周期内发生波动的运行数据。
相应的,本发明实施例还提供了一种确定阈值的装置,所述阈值用于检测网络链路异常;所述装置包括:
获取单元和处理单元;
所述获取单元,用于获取第一数据;所述第一数据是在第一周期的第i时刻采集的第i个采样数据;i大于等于1;
所述处理单元,用于根据所述第一数据和N个第二周期的第二数据,确定所述第一数据对应的第一均值和第一标准差;所述第二数据是在所述第二数据对应的第二周期的所述第i时刻采集的第i个采样数据;所述第二周期是在所述第一周期之前的周期;N大于等于1;
所述处理单元,还用于根据所述第一均值和所述第一标准差,确定所述第一数据对应的第一阈值。
可选的,所述处理单元具体用于:
根据所述第一均值、所述第一标准差和第一参数,确定所述第一阈值;
其中,所述第一参数为调整参数对应的异常数据的变化量最大时的所述调整参数的取值;所述异常数据为在所述第一数据和所述N个第二数据组成的N+1个采样数据中超出所述调整参数对应的阈值的采样数据;所述调整参数对应的阈值是根据所述第一均值、所述第一标准差和所述调整参数确定的;所述变化量为所述调整参数减去步长值后对应的异常数据的个数和所述调整参数对应的异常数据的个数的差值。
可选的,所述处理单元具体用于:
根据公式(1)确定所述第一参数;
所述公式(1)为:
z=argmaxz>z0|Ct(z-δ)|-|Ct(z)|
其中,z为第一参数;Ct(z)={xii},Ct(z)为N+1个采样数据中异常数据的集合,xi为每个周期内的第i个采样数据,εi为第一阈值;|Ct(z)|为N+1个采样数据中异常数据的个数;δ为步长值,δ>0;z0为设定的最小的z,z0>0。
可选的,所述处理单元具体用于:
根据公式(2)确定所述第一阈值;
所述公式(2)为:
εt=μt+zσt
其中,εt为第一阈值;μt为第一均值;z为第一参数;σt为第一标准差。
可选的,所述处理单元还用于:
在所述确定所述第一数据对应的第一阈值之后,控制所述获取单元获取所述第一周期的下一周期内的第三数据;所述第三数据是在所述第一周期的下一周期的所述第i时刻采样的第i个采样数据;
若所述第三数据大于所述第一阈值,则确定所述第三数据为异常数据。
相应的,本发明实施例还提供了一种计算设备,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行上述确定阈值的方法。
相应的,本发明实施例还提供了一种计算机可读非易失性存储介质,包括计算机可读指令,当计算机读取并执行所述计算机可读指令时,使得计算机执行上述确定阈值的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种确定阈值的方法的流程示意图;
图2为本发明实施例提供的另一种确定阈值的方法的流程示意图;
图3为本发明实施例提供的一种确定阈值的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例提供的一种确定阈值的方法,该阈值用于检测网络链路异常,比较获取到的采样数据与对应的阈值的大小,用于检测该采样数据是否异常,且该阈值为动态变化的,在不同的采样时刻对应不同的取值。
图1示例性的示出了本发明实施例提供的一种确定阈值的方法的流程,该流程可以由确定阈值的装置执行。
如图1所示,该流程具体包括:
步骤101,获取第一数据;
第一数据指的是在第一周期的第i时刻采集的第i个采样数据,i大于等于1,采集的第一数据用于确定第一数据对应的第一阈值,该第一阈值用于评估第一周期的下一周期的第i个采样数据是否为异常采样数据,其中,第一数据可以是网络链路的丢包率、时延、流量、访问量等。
本发明实施例中,可以是周期性采样,即根据网络链路的运行数据先确定出采样周期,如每小时为一个周期,每天为一个周期,每周为一个周期等。在确定出采样周期后,可以进一步确定每个周期的采样点,如在每天为一个周期情况下,每个整点采样一次,如0点、1点、2点……23点各采样一次,即每个周期共采样24次,每个周期共获取到24个采样数据。
本发明实施例中涉及第一周期、第二周期、第三周期,该第一周期、第二周期、第三周期并不是以时间顺序进行周期命名的,第一周期指的是当前时刻获取第一数据时所在的周期,第二周期指的是第一周期之前的周期,第三周期指的是第一周期之后的第一个周期,具体描述可见下述实施例。
步骤102,根据第一数据和N个第二周期的第二数据,确定第一数据对应的第一均值和第一标准差。
可以将第一周期之前的周期确定为第二周期,将在每个第二周期的第i时刻采集的第i个采样数据确定为第二数据。该第二周期可以为第一周期之前的连续的N个周期,如,假设每个周期为一天,那么当第一周期为21号,则21号之前连续的10个周期可以是20号、19号、18号、17号、16号、15号、14号、13号、12号、11号;该第二周期可以为第一周期之前的不连续的N个周期,如,假设每个周期为一天,那么当第一周期为21号,则21号之前的不连续的10个周期可以是20号、18号、16号、14号、12号、10号、8号、6号、4号、2号;该第二周期可以为第一周期之前的随机的N个周期,如,假设每个周期为一天,那么当第一周期为21号,则21号之前的随机的10个周期可以是20号、18号、16号、15号、14号、10号、8号、6号、4号、2号。且第一周期采集的第一数据和各第二周期采集的第二数据都是在对应周期的相同时刻采集,举例来说,采样周期为一天,则第一数据是在第一周期的1点采样,则每个第二数据同样是在各自对应的第二周期的1点采样。
根据第一数据和N个第二周期的第二数据,则可以确定出第一数据对应的第一均值和第一标准差,具体的,确定出第一数据对应的第一均值和第一平方均值,再根据第一均值和第一平方均值确定出第一数据对应的第一方差,进而对第一方差开平方,即可以确定出第一方差对应的第一标准差。
在确定第一均值和第一平方均值时,有多种实现方式,如简单平均法、加权平均法、指数平均法。
(一)简单平均法
根据公式(3)确定第一均值;其中,公式(3)为:
μi=[Nμ’i+xt]/(N+1)……(3)
根据公式(4)确定第一平方均值;其中,公式(4)为:
ηi=[Nη’i+xt 2]/(N+1)……(4)
其中,μi为第一均值;μ’i为第一周期的前一周期内的第二数据对应的均值;xt为第一数据的值;ηi为第一平方均值;η’i为第一周期的前一周期内的第二数据对应的平方均值;
(二)加权平均法
根据公式(5)确定第一均值;其中,公式(5)为:
μi=w0xt+w1xt-T+…+wmxt-mT……(5)
根据公式(6)确定第一平方均值;其中,公式(6)为:
ηi=w0xt 2+w1xt-T 2+…+wmxt-mT 2……(6)
其中,μi为第一均值;xt为第一数据的值;w0为第一数据对应的权重;xt-T为第一数据之前的第一个周期的第二数据的值;w1为第一数据之前的第一个周期的第二数据的权重;xt-mT为第一周期之前的第m个周期的第二数据的值;wm为第一周期之前的第m个周期的第二数据的权重;ηi为第一平方均值;
在上述加权平均法中,距离第一数据越远,则对应的权重越小。权重化的更新策略能过滤较远的历史数据的影响,同时能快速适应新数据模式的变化,有效减小误报。
(三)指数平均法
根据公式(7)确定所述第一均值;其中,公式(7)为:
μi=pxt+(1-p)ui’……(7)
根据公式(8)确定所述第一平方均值;其中,公式(8)为:
ηi=pxt 2+(1-p)ηi’……(8)
其中,μi为第一均值;xt为第一数据的值;μ’i为第一周期的前一个周期的第二数据对应的均值;ηi为第一平方均值;η’i为第一周期的前一周期内的第二数据对应的平方均值;0<p<1。
在确定出第一数据对应的第一均值和第一平方均值之后,可以根据公式(9)确定出第一数据对应的第一方差,其中,公式(9)为:
σi 2=ηii 2……(9)
其中,σi 2为第一方差,ηi为第一平方均值,μi 2为第一均值的平方。
步骤103,根据第一均值和第一标准差,确定第一数据对应的第一阈值。
可以设定调整参数,并根据该调整参数和第一均值和第一标准差,确定第一阈值,具体的,可以根据公式(2)确定第一阈值;
公式(2)为:
εt=μt+zσt……(2)
其中,εt为第一阈值;μt为第一均值;z为调整参数;σt为第一标准差。
调整参数可以是固定值,比如,调整参数取的固定值2、2.5、3、4等。此外,为了减少误报警,本发明实施例中可以将该调整参数设定为动态值,该调整参数会根据当前的网络链路质量中的采集数据进行动态调整,具体的,由于网络链路质量评估过程中,若是正常数据,则该正常数据距离均值较远的分布变化较为平缓,若为异常数据,则该异常数据可能会导致较大的分布变化,所以可以基于此特征确定调整参数。具体的,根据第一均值、第一标准差和调整参数确定调整参数对应的阈值(调整参数为自变量,阈值为因变量,相当于调整参数对应的阈值随着调整参数的变化而变化),并将第一数据和N个第二数据组成的N+1个采样数据中超出调整参数对应的阈值的采样数据确定为异常数据,统计调整参数对应的异常数据的个数变化量,并将异常数据的个数变化量最大的调整参数的取值确定为第一参数,该第一参数即为最终用于确定第一阈值的调整参数的取值,其中,变化量指的是调整参数减去步长值后对应的异常数据的个数和调整参数对应的异常数据的个数的差值。其中,步长值为调整参数一次调整量的值,每个调整参数对应的步长值可以相同也可以不同,且可以根据经验设定。
上述实施例中,调整参数可以理解成一个数列,第k个调整参数与第k-1个调整参数之间的差值即为上述步长值,根据第k个调整参数、第一均值、第一标准差确定出该第k个调整参数对应的阈值,进而确定出第k个调整参数对应的异常数据的个数;根据第k-1个调整参数、第一均值、第一标准差确定出该第k-1个调整参数对应的阈值,进而确定出第k-1个调整参数对应的异常数据的个数;当第k个调整参数对应的异常数据的个数与第k-1个调整参数对应的异常数据的个数的差值最大时,第k个调整参数的取值即为第一参数,此时,第k个调整参数对应的阈值即为第一阈值。
举例来说,分别在10个周期的同一时刻采集数据集合为(0.9,0.8,1,1.7,0.8,1.2,1.2,1.8,1.6,2),确定最新采集数据更新的均值(相当于第一均值)为1.3,最新采集数据更新的平方均值(相当于第一平方均值)为1.9,最新采集数据更新的方差(相当于第一方差)为0.6,最新采集数据更新的标准差为(相当于第一标准差)0.8。
假设步长值为0.25,分别取值z=0.25,0.5,0.75,1,1.25;
则有:
当z=0.25时,可以确定εt=μt+zσt=1.5;此时的异常数据的个数为4;
当z=0.5时,可以确定εt=μt+zσt=1.7;此时的异常数据的个数为2;
当z=0.75时,可以确定εt=μt+zσt=1.9;此时的异常数据的个数为1;
当z=1时,可以确定εt=μt+zσt=2.1;此时的异常数据的个数为0;
当z=1.25时,可以确定εt=μt+zσt=2.2;此时的异常数据的个数为0;
则可以确定在z=0.5时,调整参数减去步长值后(z=0.25)对应的异常数据的个数(异常数据的个数为4)和调整参数(z=0.5)对应的异常数据的个数(异常数据的个数为2)的差值最大,则确定调整参数z=0.5,阈值则为1.7,于是可确定采集数据2是异常的。
上述实施例中,还可以根据公式(1)确定调整参数的具体取值,即根据公式(1)确定第一参数。公式(1)为:
z=argmaxz>z0|Ct(z-δ)|-|Ct(z)|……(1)
其中,z为第一参数,即调整参数在变化量最大时的取值;Ct(z)={xii},Ct(z)为N+1个采样数据中异常数据的集合,xi为每个周期内的第i个采样数据,εi为第一阈值;|Ct(z)|为N+1个采样数据中异常数据的个数;δ为步长值,δ>0;z0为设定的最小的z,z0>0。
在确定出第一参数的取值之后,则可以结合公式(2)确定出第一阈值;具体的,公式(2)为:
εt=μt+zσt……(2)
其中,εt为第一阈值;μt为第一均值;z为第一参数;σt为第一标准差。
上述实施例详细描述了如何确定用于检测网络链路异常的阈值的方法,在确定出阈值之后,可以采用该阈值确定第一周期的下一周期的第i时刻采集的第i个采样数据是否为异常数据,具体的,在确定第一数据对应的第一阈值之后,可以有步骤104,获取第一周期的下一周期内的第三数据,若根据第三数据和第一阈值确定第三数据为异常数据,则告警。其中,第三数据即为在第一周期的下一周期的第i时刻采样的第i个采样数据。当采集数据是丢包率、时延类数据时,若第三数据大于第一阈值,则确定第三数据为异常数据,若第三数据不大于第一阈值,则确定第三数据为正常数据。当采集数据是流量、访问量类数据时,若第三数据小于第一阈值,则确定第三数据为异常数据,若第三数据不小于第一阈值,则确定第三数据为正常数据。
一种实现方式中,可以在获取到第三数据后,确定第三数据对应的异常分数,将该异常分数定义为st=xtt,考虑单向异常数据的特性(比如丢包率和时延,显然它们变小时不会是异常),若st>0,则将第三数据标记为异常数据,若st≤0,则将第三数据标记为正常数据。
此外,本发明实施例中,可以先对采集到的数据进行平滑处理以过滤一些噪声,比如移动平均、指数加权平均等。对于周期长(一个周期内数据点多)而周期数少的数据,在计算历史数据统计特征时,可以将相应点周围数据的(加权)平均作为相应点的值,以减小历史异常数据的影响。
为了更好的解释本发明实施例,下面将在具体的实施场景下描述该确定阈值的流程,如图2所示,具体如下:
步骤201,初始化均值和均值平方:μi=0,ηi=0,i=1、2、n;
此处,T为采样周期,采样周期T中共有n次采样;
步骤202,获取当前时刻t的采样数据xt
步骤203,对当前时刻t的采样数据xt进行预处理;
步骤204,判断z是否为固定值;若是,则转向步骤206,否则,转向步骤205;
步骤205,令z=argmaxz>z0|Ct(z-δ)|-|Ct(z)|,并更新|Ct(z)|;
步骤206,确定阈值εt=μt+zσt
步骤207,判断采样数据xt是否大于εt;若是,则转向步骤208,否则,转向步骤209;
步骤208,检测到异常并报警;
步骤209,根据当前时刻采样数据xt更新均值μi和方差σi 2
其中,i=t mod T;σi 2=ηii 2
步骤210,更新相关数据。
由于本实施例的具体实现方式已在其他实施例中描述,在此不作赘述。
上述实施例中,获取第i时刻采集的第一数据后,根据第一数据动态的更新第一数据对应的第一均值和第一标准差,进而动态更新第一数据对应的第一阈值,该第一数据对应的第一阈值可用于评估下一周期的第i时刻采集的数据是否异常,通过该方式,可以动态确定出用于检测网络链路异常的阈值,自动适用检测数据的变化,减少误报警。对于类似于周期性变化的网络链路的采样数据,可以在每个采样周期相同的采样点处进行采样,确定当前周期的该采样点处的阈值,用于评估下一周期的该采样点的采样数据是否为异常数据,该方式可以确定出当前周期不同采样点对应的不同阈值,适用于同一周期内发生波动的运行数据。进一步的,该方式无需进行模型训练,复杂度较低,可以快速实时给出检测结果。
进一步的,综合考虑网络链路中运行参数的特性,若是正常数据,则该正常数据距离均值较远的分布变化较为平缓,若为异常数据,则该异常数据可能会导致较大的分布变化,动态确定调整参数,该动态确定的调整参数可以进一步降低误报警。
随着新数据的产生,数据的分布会发生变化,导致异常数据的阈值也会产生变化,因此通过动态调整阈值能提高异常检测的准确度。
基于同一发明构思,图3示例性地示出了本发明实施例提供的一种确定阈值的装置的结构,该装置可以执行确定阈值的方法的流程。
所述阈值用于检测网络链路异常;
所述装置包括:
获取单元301和处理单元302;
所述获取单元301,用于获取第一数据;所述第一数据是在第一周期的第i时刻采集的第i个采样数据;i大于等于1;
所述处理单元302,用于根据所述第一数据和N个第二周期的第二数据,确定所述第一数据对应的第一均值和第一标准差;所述第二数据是在所述第二数据对应的第二周期的所述第i时刻采集的第i个采样数据;所述第二周期是在所述第一周期之前的周期;N大于等于1;
所述处理单元302,还用于根据所述第一均值和所述第一标准差,确定所述第一数据对应的第一阈值。
可选的,所述处理单元302具体用于:
根据所述第一均值、所述第一标准差和第一参数,确定所述第一阈值;
其中,所述第一参数为调整参数对应的异常数据的变化量最大时的所述调整参数的取值;所述异常数据为在所述第一数据和所述N个第二数据组成的N+1个采样数据中超出所述调整参数对应的阈值的采样数据;所述调整参数对应的阈值是根据所述第一均值、所述第一标准差和所述调整参数确定的;所述变化量为所述调整参数减去步长值后对应的异常数据的个数和所述调整参数对应的异常数据的个数的差值。
可选的,所述处理单元302具体用于:
根据公式(1)确定所述第一参数;
所述公式(1)为:
z=argmaxz>z0|Ct(z-δ)|-|Ct(z)|
其中,z为第一参数;Ct(z)={xii},Ct(z)为N+1个采样数据中异常数据的集合,xi为每个周期内的第i个采样数据,εi为第一阈值;|Ct(z)|为N+1个采样数据中异常数据的个数;δ为步长值,δ>0;z0为设定的最小的z,z0>0。
可选的,所述处理单元302具体用于:
根据公式(2)确定所述第一阈值;
所述公式(2)为:
εt=μt+zσt
其中,εt为第一阈值;μt为第一均值;z为第一参数;σt为第一标准差。
可选的,所述处理单元302还用于:
在所述确定所述第一数据对应的第一阈值之后,控制所述获取单元301获取所述第一周期的下一周期内的第三数据;所述第三数据是在所述第一周期的下一周期的所述第i时刻采样的第i个采样数据;
若所述第三数据大于所述第一阈值,则确定所述第三数据为异常数据。
基于同一发明构思,本发明实施例还提供了一种计算设备,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行上述确定阈值的方法。
基于同一发明构思,本发明实施例还提供了一种计算机可读非易失性存储介质,包括计算机可读指令,当计算机读取并执行所述计算机可读指令时,使得计算机执行上述确定阈值的方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种确定阈值的方法,其特征在于,所述阈值用于检测网络链路异常;
所述方法包括:
获取第一数据;所述第一数据是在第一周期的第i时刻采集的第i个采样数据;i大于等于1;
根据所述第一数据和N个第二周期的第二数据,确定所述第一数据对应的第一均值和第一标准差;所述第二数据是在所述第二数据对应的第二周期的所述第i时刻采集的第i个采样数据;所述第二周期是在所述第一周期之前的周期;N大于等于1;
根据所述第一均值和所述第一标准差,确定所述第一数据对应的第一阈值。
2.如权利要求1所述的方法,其特征在于,所述根据所述第一均值和所述第一标准差,确定所述第一数据对应的第一阈值,包括:
根据所述第一均值、所述第一标准差和第一参数,确定所述第一阈值;
其中,所述第一参数为调整参数对应的异常数据的变化量最大时的所述调整参数的取值;所述异常数据为在所述第一数据和所述N个第二数据组成的N+1个采样数据中超出所述调整参数对应的阈值的采样数据;所述调整参数对应的阈值是根据所述第一均值、所述第一标准差和所述调整参数确定的;所述变化量为所述调整参数减去步长值后对应的异常数据的个数和所述调整参数对应的异常数据的个数的差值。
3.如权利要求2所述的方法,其特征在于,通过如下方式确定所述第一参数,包括:
根据公式(1)确定所述第一参数;
所述公式(1)为:
z=argmaxz>z0|Ct(z-δ)|-|Ct(z)|
其中,z为第一参数;Ct(z)={xii},Ct(z)为N+1个采样数据中异常数据的集合,xi为每个周期内的第i个采样数据,εi为第一阈值;|Ct(z)|为N+1个采样数据中异常数据的个数;δ为步长值,δ>0;z0为设定的最小的z,z0>0。
4.如权利要求2所述的方法,其特征在于,所述根据所述第一均值、所述第一标准差和第一参数,确定所述第一阈值,包括:
根据公式(2)确定所述第一阈值;
所述公式(2)为:
εt=μt+zσt
其中,εt为第一阈值;μt为第一均值;z为第一参数;σt为第一标准差。
5.如权利要求1所述的方法,其特征在于,在所述确定所述第一数据对应的第一阈值之后,还包括:
获取所述第一周期的下一周期内的第三数据;所述第三数据是在所述第一周期的下一周期的所述第i时刻采样的第i个采样数据;
若所述第三数据大于所述第一阈值,则确定所述第三数据为异常数据。
6.一种确定阈值的装置,其特征在于,所述阈值用于检测网络链路异常;
所述装置包括:
获取单元和处理单元;
所述获取单元,用于获取第一数据;所述第一数据是在第一周期的第i时刻采集的第i个采样数据;i大于等于1;
所述处理单元,用于根据所述第一数据和N个第二周期的第二数据,确定所述第一数据对应的第一均值和第一标准差;所述第二数据是在所述第二数据对应的第二周期的所述第i时刻采集的第i个采样数据;所述第二周期是在所述第一周期之前的周期;N大于等于1;
所述处理单元,还用于根据所述第一均值和所述第一标准差,确定所述第一数据对应的第一阈值。
7.如权利要求6所述的装置,其特征在于,所述处理单元具体用于:
根据所述第一均值、所述第一标准差和第一参数,确定所述第一阈值;
其中,所述第一参数为调整参数对应的异常数据的变化量最大时的所述调整参数的取值;所述异常数据为在所述第一数据和所述N个第二数据组成的N+1个采样数据中超出所述调整参数对应的阈值的采样数据;所述调整参数对应的阈值是根据所述第一均值、所述第一标准差和所述调整参数确定的;所述变化量为所述调整参数减去步长值后对应的异常数据的个数和所述调整参数对应的异常数据的个数的差值。
8.如权利要求7所述的装置,其特征在于,所述处理单元具体用于:
根据公式(1)确定所述第一参数;
所述公式(1)为:
z=argmaxz>z0|Ct(z-δ)|-|Ct(z)|
其中,z为第一参数;Ct(z)={xii},Ct(z)为N+1个采样数据中异常数据的集合,xi为每个周期内的第i个采样数据,εi为第一阈值;|Ct(z)|为N+1个采样数据中异常数据的个数;δ为步长值,δ>0;z0为设定的最小的z,z0>0。
9.如权利要求7所述的装置,其特征在于,所述处理单元具体用于:
根据公式(2)确定所述第一阈值;
所述公式(2)为:
εt=μt+zσt
其中,εt为第一阈值;μt为第一均值;z为第一参数;σt为第一标准差。
10.如权利要求6所述的装置,其特征在于,所述处理单元还用于:
在所述确定所述第一数据对应的第一阈值之后,控制所述获取单元获取所述第一周期的下一周期内的第三数据;所述第三数据是在所述第一周期的下一周期的所述第i时刻采样的第i个采样数据;
若所述第三数据大于所述第一阈值,则确定所述第三数据为异常数据。
11.一种计算设备,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行权利要求1至5任一项所述的方法。
12.一种计算机可读非易失性存储介质,其特征在于,包括计算机可读指令,当计算机读取并执行所述计算机可读指令时,使得计算机执行如权利要求1至5任一项所述的方法。
CN201911076097.3A 2019-11-06 2019-11-06 一种确定阈值的方法及装置 Active CN110890998B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911076097.3A CN110890998B (zh) 2019-11-06 2019-11-06 一种确定阈值的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911076097.3A CN110890998B (zh) 2019-11-06 2019-11-06 一种确定阈值的方法及装置

Publications (2)

Publication Number Publication Date
CN110890998A true CN110890998A (zh) 2020-03-17
CN110890998B CN110890998B (zh) 2021-08-27

Family

ID=69746941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911076097.3A Active CN110890998B (zh) 2019-11-06 2019-11-06 一种确定阈值的方法及装置

Country Status (1)

Country Link
CN (1) CN110890998B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400141A (zh) * 2020-03-19 2020-07-10 深圳前海微众银行股份有限公司 一种异常检测的方法及装置
CN111693763A (zh) * 2020-05-22 2020-09-22 科华恒盛股份有限公司 针对模块化电气设备中功率模块的检测系统
CN112187870A (zh) * 2020-09-04 2021-01-05 网宿科技股份有限公司 一种带宽平滑方法及装置
CN113065979A (zh) * 2021-03-22 2021-07-02 贵州电网有限责任公司 一种调度自动化系统负荷报表改善与自检方法
CN113542236A (zh) * 2021-06-28 2021-10-22 中孚安全技术有限公司 一种基于核密度估计和指数平滑算法的异常用户检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008311719A (ja) * 2007-06-12 2008-12-25 Nippon Telegr & Teleph Corp <Ntt> 閾値設定方法とシステムおよびプログラム
CN104735710A (zh) * 2015-03-18 2015-06-24 大连理工大学 一种基于趋势外推聚类的移动网络性能预警预判方法
CN105718715A (zh) * 2015-12-23 2016-06-29 华为技术有限公司 异常检测方法和设备
CN105893213A (zh) * 2016-06-22 2016-08-24 北京蓝海讯通科技股份有限公司 一种异常检测方法、应用和监控设备
CN109146236A (zh) * 2018-07-06 2019-01-04 东软集团股份有限公司 指标异常检测方法、装置、可读存储介质及电子设备
CN109213654A (zh) * 2018-07-05 2019-01-15 北京奇艺世纪科技有限公司 一种异常检测方法及装置
CN109558295A (zh) * 2018-11-15 2019-04-02 新华三信息安全技术有限公司 一种性能指标异常检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008311719A (ja) * 2007-06-12 2008-12-25 Nippon Telegr & Teleph Corp <Ntt> 閾値設定方法とシステムおよびプログラム
CN104735710A (zh) * 2015-03-18 2015-06-24 大连理工大学 一种基于趋势外推聚类的移动网络性能预警预判方法
CN105718715A (zh) * 2015-12-23 2016-06-29 华为技术有限公司 异常检测方法和设备
CN105893213A (zh) * 2016-06-22 2016-08-24 北京蓝海讯通科技股份有限公司 一种异常检测方法、应用和监控设备
CN109213654A (zh) * 2018-07-05 2019-01-15 北京奇艺世纪科技有限公司 一种异常检测方法及装置
CN109146236A (zh) * 2018-07-06 2019-01-04 东软集团股份有限公司 指标异常检测方法、装置、可读存储介质及电子设备
CN109558295A (zh) * 2018-11-15 2019-04-02 新华三信息安全技术有限公司 一种性能指标异常检测方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400141A (zh) * 2020-03-19 2020-07-10 深圳前海微众银行股份有限公司 一种异常检测的方法及装置
CN111693763A (zh) * 2020-05-22 2020-09-22 科华恒盛股份有限公司 针对模块化电气设备中功率模块的检测系统
CN111693763B (zh) * 2020-05-22 2023-06-06 科华恒盛股份有限公司 针对模块化电气设备中功率模块的检测系统
CN112187870A (zh) * 2020-09-04 2021-01-05 网宿科技股份有限公司 一种带宽平滑方法及装置
CN113065979A (zh) * 2021-03-22 2021-07-02 贵州电网有限责任公司 一种调度自动化系统负荷报表改善与自检方法
CN113542236A (zh) * 2021-06-28 2021-10-22 中孚安全技术有限公司 一种基于核密度估计和指数平滑算法的异常用户检测方法

Also Published As

Publication number Publication date
CN110890998B (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN110890998B (zh) 一种确定阈值的方法及装置
CN107871190B (zh) 一种业务指标监控方法及装置
CN109815084B (zh) 异常识别方法、装置和电子设备及存储介质
CN109558295B (zh) 一种性能指标异常检测方法及装置
CN113518011B (zh) 异常检测方法和装置、电子设备及计算机可读存储介质
CN110572297B (zh) 网络性能的评估方法、服务器及存储介质
US20190205759A1 (en) Method and apparatus for compressing neural network
CN110874674B (zh) 一种异常检测方法、装置及设备
US20200259725A1 (en) Methods and systems for online monitoring using a variable data
CN104636874B (zh) 检测业务异常的方法及设备
US11620539B2 (en) Method and device for monitoring a process of generating metric data for predicting anomalies
CN110263869B (zh) 一种Spark任务的时长预测方法及装置
CN110445680A (zh) 网络流量异常检测方法、装置及服务器
CN108696486B (zh) 一种异常操作行为检测处理方法及装置
CN103489034A (zh) 预测与诊断在线海流监测数据的方法和装置
CN110851333B (zh) 根分区的监控方法、装置和监控服务器
JP2017536919A5 (zh)
CN111209998B (zh) 基于数据类型的机器学习模型的训练方法及装置
CN113587520B (zh) 冰箱化霜系统异常检测方法及装置
CN111145895A (zh) 异常数据的检测方法及终端设备
EP3093770A2 (en) System and method for the creation and detection of process fingerprints for monitoring in a process plant
CN111258854B (zh) 模型训练方法、基于预测模型的报警方法和相关装置
CN109960626A (zh) 端口异常的识别方法、装置、设备及介质
Nunzi et al. Monitoring signal integrity of atomic clocks by means of the GLRT
CN114938339A (zh) 一种数据处理方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant