CN108540340B - 基于网站应用错误数的异常检测方法及系统 - Google Patents

基于网站应用错误数的异常检测方法及系统 Download PDF

Info

Publication number
CN108540340B
CN108540340B CN201810215189.4A CN201810215189A CN108540340B CN 108540340 B CN108540340 B CN 108540340B CN 201810215189 A CN201810215189 A CN 201810215189A CN 108540340 B CN108540340 B CN 108540340B
Authority
CN
China
Prior art keywords
website application
error number
abnormal
alarm threshold
website
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810215189.4A
Other languages
English (en)
Other versions
CN108540340A (zh
Inventor
徐新龙
李伟
方菊
陈劼
雍浩淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ctrip Business Co Ltd
Original Assignee
Shanghai Ctrip Business Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ctrip Business Co Ltd filed Critical Shanghai Ctrip Business Co Ltd
Priority to CN201810215189.4A priority Critical patent/CN108540340B/zh
Publication of CN108540340A publication Critical patent/CN108540340A/zh
Application granted granted Critical
Publication of CN108540340B publication Critical patent/CN108540340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于网站应用错误数的异常检测方法及系统。其中，异常检测方法包括：获取单位时间内发生的历史网站应用错误数以及当前时间实际发生的实际网站应用错误数x(n)；根据所述历史网站应用错误数以及实际网站应用错误数x(n)预测当前时间发生的预测网站应用错误数s(n)；根据预测网站应用错误数s(n)设置告警阈值；根据实际网站应用错误数x(n)和所述告警阈值判断网站应用是否发生异常。本发明基于实际发生的网站应用错误数，预测当前时间的网站应用错误数，并根据预测结果设计告警阈值，实现了对网站应用错误数的动态异常检测，无需手动设定告警阈值，有效避免了网站应用告警的误报或漏报，能够及时发现网站异常。

Description

基于网站应用错误数的异常检测方法及系统
技术领域
本发明涉及互联网技术领域，尤其涉及一种基于网站应用错误数的异常检测方法及系统。
背景技术
目前对于网站应用错误的告警，通常经由网站埋点以检测是否发生网站应用错误，当单位时间内检测到的网站应用错误的累计数量连续多次(可以根据具体情况自定义设置)超过预先手动设定的固定阈值时，将该网站应用标记为异常，并发出告警。
由于上述网站应用错误的告警方式主要基于手动操作，而根据经验设定的固定阈值与实际情况可能存在很大偏差，并且随着网站的发布应用，网站应用错误的具体水平也可能发生改变，此时固定阈值需要做出适应性调整。此外，为避免被大量的告警淹没，固定阈值的设置值往往较高，容易存在大量漏报的告警。另有，设定固定阈值的方式也无法检测网站应用错误在单位时间内发生的累计数量呈现爬升的特征，其告警的即时性亦存在不足。
发明内容
本发明要解决的技术问题是为了克服现有技术中网站应用错误的告警需手动设定告警阈值的缺陷，提供一种基于网站应用错误数的异常检测方法及系统。
本发明是通过下述技术方案来解决上述技术问题：
一种基于网站应用错误数的异常检测方法，其特点在于，包括：
获取单位时间内发生的历史网站应用错误数以及当前时间实际发生的实际网站应用错误数x(n)；
根据所述历史网站应用错误数以及实际网站应用错误数x(n)预测当前时间发生的预测网站应用错误数s(n)；
根据预测网站应用错误数s(n)设置告警阈值；
根据实际网站应用错误数x(n)和所述告警阈值判断网站应用是否发生异常。
较佳地，所述异常检测方法还包括：
当网站应用发生异常时，将异常数加1，并判断所述异常数是否大于第一阈值；
若是，则输出异常告警；
若否，则返回获取单位时间内发生的历史网站应用错误数以及当前时间实际发生的实际网站应用错误数x(n)的步骤；
当网站应用未发生异常时，将异常数清零，并返回获取单位时间内发生的历史网站应用错误数以及当前时间实际发生的实际网站应用错误数x(n)的步骤。
较佳地，根据预测网站应用错误数s(n)设置告警阈值的步骤具体包括：
根据预测网站应用错误数s(n)以及实际网站应用错误数x(n)预测当前时间发生的预测网站应用错误数的方差σ2(n)；
将所述告警阈值设置为3σ(n)；
根据实际网站应用错误数x(n)和所述告警阈值判断网站应用是否发生异常的步骤具体包括：
计算实际网站应用错误数x(n)与预测网站应用错误数s(n)之间的差值δ(n)，其中δ(n)＝x(n)-s(n)；
判断差值δ(n)是否大于3σ(n)；
若是，则确定网站应用发生异常。
较佳地，通过一阶指数平滑技术预测预测网站应用错误数s(n)以及方差σ2(n)，其中：
s(n)＝α*s(n-1)+(1-α)*x(n)，其中α是超参数；
σ2(n)＝β*σ2(n-1)+(1-β)*[x(n)-s(n)]，其中β是超参数；
在网站应用发生异常时，所述异常检测方法还包括不更新或者慢更新预测网站应用错误数s(n)和所述告警阈值；
慢更新预测网站应用错误数s(n)是指增大α的取值；
不更新预测网站应用错误数s(n)是指：令s(n)与s(n-1)取值相同；
慢更新所述告警阈值是指增大β的取值；
不更新所述告警阈值是指：令3σ(n)与3σ(n-1)取值相同。
较佳地，根据预测网站应用错误数s(n)设置告警阈值的步骤具体包括：
将所述告警阈值设置为γ*s(n)，其中γ是超参数；
根据实际网站应用错误数x(n)和所述告警阈值判断网站应用是否发生异常的步骤具体包括：
计算当前时间网站应用错误数的斜率k(n)，其中k(n)＝x(n)-x(n-1)；
判断斜率k(n)是否大于γ*s(n)；
若是，则确定网站应用发生异常。
较佳地，通过一阶指数平滑技术预测预测网站应用错误数s(n)，其中：
s(n)＝α*s(n-1)+(1-α)*x(n)，其中α是超参数；
在网站应用发生异常时，所述异常检测方法还包括不更新或者慢更新所述告警阈值；
慢更新所述告警阈值是指增大α的取值；
不更新所述告警阈值是指：令γ*s(n)与γ*s(n-1)取值相同。
一种基于网站应用错误数的异常检测系统，其特点在于，所述异常检测系统包括：
错误数获取模块，用于获取单位时间内发生的历史网站应用错误数以及当前时间实际发生的实际网站应用错误数x(n)；
错误数预测模块，用于根据所述历史网站应用错误数以及实际网站应用错误数x(n)预测当前时间发生的预测网站应用错误数s(n)；
告警阈值设置模块，用于根据预测网站应用错误数s(n)设置告警阈值；
异常判断模块，用于根据实际网站应用错误数x(n)和所述告警阈值判断网站应用是否发生异常。
较佳地，所述异常检测系统还包括：
异常数计数模块，用于当所述异常判断模块判断为是时，将异常数加1，并调用频数判断模块；当所述异常判断模块判断为否时，将异常数清零，并调用所述错误数获取模块；
所述频数判断模块，用于判断所述异常数是否大于第一阈值；
若是，则调用告警输出模块；
若否，则调用所述错误数获取模块；
所述告警输出模块，用于输出异常告警。
较佳地，所述异常检测系统还包括：
方差预测模块，用于根据预测网站应用错误数s(n)以及实际网站应用错误数x(n)预测当前时间发生的预测网站应用错误数的方差σ2(n)；
则所述告警阈值设置模块将所述告警阈值设置为3σ(n)；
差值计算模块，用于计算实际网站应用错误数x(n)与预测网站应用错误数s(n)之间的差值δ(n)，其中δ(n)＝x(n)-s(n)；
则所述异常判断模块判断差值δ(n)是否大于3σ(n)；
若是，则确定网站应用发生异常。
较佳地，所述错误数预测模块通过一阶指数平滑技术预测预测网站应用错误数s(n)，s(n)＝α*s(n-1)+(1-α)*x(n)，其中α是超参数；
在网站应用发生异常时，所述错误数预测模块不更新或者慢更新预测网站应用错误数s(n)；
慢更新预测网站应用错误数s(n)是指增大α的取值；
不更新预测网站应用错误数s(n)是指：令s(n)与s(n-1)取值相同；
所述方差预测模块通过一阶指数平滑技术预测方差σ2(n)，σ2(n)＝β*σ2(n-1)+(1-β)*[x(n)-s(n)]，其中β是超参数；
在网站应用发生异常时，所述告警阈值设置模块不更新或者慢更新所述告警阈值；
慢更新所述告警阈值是指增大β的取值；
不更新所述告警阈值是指：令3σ(n)与3σ(n-1)取值相同。
较佳地，所述告警阈值设置模块将所述告警阈值设置为γ*s(n)，其中γ是超参数，所述异常检测系统还包括：
斜率计算模块，用于计算当前时间网站应用错误数的斜率k(n)，其中k(n)＝x(n)-x(n-1)；
则所述异常判断模块判断斜率k(n)是否大于γ*s(n)；
若是，则确定网站应用发生异常。
较佳地，所述错误数预测模块通过一阶指数平滑技术预测预测网站应用错误数s(n)，s(n)＝α*s(n-1)+(1-α)*x(n)，其中α是超参数；
在网站应用发生异常时，所述告警阈值设置模块不更新或者慢更新所述告警阈值；
慢更新所述告警阈值是指增大α的取值；
不更新所述告警阈值是指：令γ*s(n)与γ*s(n-1)取值相同。
本发明的积极进步效果在于：本发明基于实际发生的网站应用错误数，实现了对当前时间的网站应用错误数的预测，并根据3σ准则等设计告警函数，进而实现了对网站应用错误数的动态异常检测，无需手动设定告警阈值，有效避免了网站应用告警的误报或漏报，并提高了网站应用告警的及时性、准确性，能够及时发现网站异常，进而可以有效减少网站业务损失以及提升用户体验。
附图说明
图1为根据本发明实施例1的基于网站应用错误数的异常检测方法的流程图。
图2为根据本发明实施例2的基于网站应用错误数的异常检测方法的流程图。
图3为根据本发明实施例3的基于网站应用错误数的异常检测方法的流程图。
图4为根据本发明实施例4的基于网站应用错误数的异常检测系统的模块示意图。
图5为根据本发明实施例5的基于网站应用错误数的异常检测系统的模块示意图。
图6为根据本发明实施例6的基于网站应用错误数的异常检测系统的模块示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供一种基于网站应用错误数的异常检测方法，图1示出了本实施例的流程图。参见图1，本实施例的异常检测方法包括以下步骤：
S11、获取单位时间内发生的历史网站应用错误数以及当前时间实际发生的实际网站应用错误数x(n)；
S12、根据历史网站应用错误数以及实际网站应用错误数x(n)预测当前时间发生的预测网站应用错误数s(n)；
S13、根据预测网站应用错误数s(n)设置告警阈值；
S14、根据实际网站应用错误数x(n)和告警阈值判断网站应用是否发生异常；
若是，则转至步骤S15；若否，则转至步骤S18；
S15、将异常数加1；
S16、判断异常数是否大于第一阈值；
若是，则转至步骤S17；若否，则返回步骤S11；
S17、输出异常告警；
S18、将异常数清零，并返回步骤S11。
在本实施例中，基于历史网站应用错误数以及当前时间实际发生的网站应用错误数，实现了对当前时间发生的网站应用错误数的预测，并根据预测的当前时间的网站应用错误数实现了告警阈值的动态设置，实现了对网站应用错误数的动态异常检测，可以准确、及时地发现网站应用的异常，减少网站业务损失。
此外，在本实施例中，第一阈值的取值可以根据实际需要自定义设置。通过第一阈值的设定，既可以避免被大量的异常告警淹没，也能够有效避免异常告警的误报或漏报，提升用户体验。
实施例2
本实施例提供的基于网站应用错误数的异常检测方法，是对实施例1的进一步改进，图2示出了本实施例的流程图。参见图2，本实施例的异常检测方法包括以下步骤：
S21、获取单位时间内发生的历史网站应用错误数以及当前时间实际发生的实际网站应用错误数x(n)；
S22、根据历史网站应用错误数以及实际网站应用错误数x(n)预测当前时间发生的预测网站应用错误数s(n)；
S23、根据预测网站应用错误数s(n)以及实际网站应用错误数x(n)预测当前时间发生的预测网站应用错误数的方差σ2(n)；
S24、将告警阈值设置为3σ(n)；
S25、计算实际网站应用错误数x(n)与预测网站应用错误数s(n)之间的差值δ(n)，其中δ(n)＝x(n)-s(n)；
S26、判断差值δ(n)是否大于3σ(n)；
若是，则转至步骤S27；若否，则转至步骤S210；
S27、将异常数加1；
S28、判断异常数是否大于第一阈值；
若是，则转至步骤S29；若否，则返回步骤S21；
S29、输出异常告警；
S210、将异常数清零，并返回步骤S21。
在本实施例中，包括但不限于使用一阶指数平滑技术来实现对预测网站应用错误数s(n)以及方差σ2(n)的预测，具体地：
在步骤S22中，s(n)＝α*s(n-1)+(1-α)*x(n)，其中α是超参数；
在步骤S23中，σ2(n)＝β*σ2(n-1)+(1-β)*[x(n)-s(n)]，其中β是超参数。
在本实施例中，包括但不限于以标准差σ(n)为参数，利用3σ准则来设计异常告警函数，也即在步骤S26中判断差值δ(n)是否大于3σ(n)，若判断为是，则确定网站应用发生了异常。
此外，在网站应用发生异常时，在步骤S22和步骤S24中分别不更新或者慢更新预测网站应用错误数s(n)和告警阈值，具体地：
慢更新预测网站应用错误数s(n)是指增大α的取值；
不更新预测网站应用错误数s(n)是指：令s(n)与s(n-1)取值相同；
慢更新告警阈值是指增大β的取值；
不更新告警阈值是指：令3σ(n)与3σ(n-1)取值相同。
原因在于，预测网站应用错误数s(n)和告警阈值的取值依赖于当前时间实际发生的实际网站应用错误数x(n)，因此，不更新或者慢更新预测网站应用错误数s(n)和告警阈值，是为了减小甚至消灭在网站应用异常发生的当前时间，实际发生的实际网站应用错误数x(n)对当前时间预测的预测网站应用错误数s(n)和告警阈值的影响，以确保告警阈值的平稳性和可靠性，进而更加准确地实现对网站应用异常的检测。
在本实施例在实施例1的基础上，结合一阶指数平滑技术以及3σ准则来实现网站应用的异常检测，进一步提高了异常检测的即时性与准确性，提升了用户体验。
实施例3
本实施例提供的基于网站应用错误数的异常检测方法，是对实施例1的进一步改进，图3示出了本实施例的流程图。参见图3，本实施例的异常检测方法包括以下步骤：
S31、获取单位时间内发生的历史网站应用错误数以及当前时间实际发生的实际网站应用错误数x(n)；
S32、根据历史网站应用错误数以及实际网站应用错误数x(n)预测当前时间发生的预测网站应用错误数s(n)；
S33、将告警阈值设置为γ*s(n)；
S34、计算当前时间网站应用错误数的斜率k(n)，其中k(n)＝x(n)-x(n-1)；
S35、判断斜率k(n)是否大于γ*s(n)；
若是，则转至步骤S36；若否，则转至步骤S39；
S36、将异常数加1；
S37、判断异常数是否大于第一阈值；
若是，则转至步骤S38；若否，则返回步骤S31；
S38、输出异常告警；
S39、将异常数清零，并返回步骤S31。
在本实施例中，包括但不限于使用一阶指数平滑技术来实现对预测网站应用错误数s(n)的预测，具体地：
在步骤S32中，s(n)＝α*s(n-1)+(1-α)*x(n)，其中α是超参数。
此外，在步骤S33中，γ也是超参数。
在本实施例中，包括但不限于以斜率k(n)为参数，来设计异常告警函数，也即在步骤S35中判断斜率k(n)是否大于γ*s(n)，若判断为是，则确定网站应用发生了异常。
此外，在网站应用发生异常时，在步骤S33中不更新或者慢更新告警阈值，具体地：
慢更新告警阈值是指增大α的取值；
不更新告警阈值是指：令γ*s(n)与γ*s(n-1)取值相同。
原因在于，告警阈值的取值依赖于当前时间实际发生的实际网站应用错误数x(n)，因此，不更新或者慢更新告警阈值，是为了减小甚至消灭在网站应用异常发生的当前时间，实际发生的实际网站应用错误数x(n)对当前时间的告警阈值的影响，以确保告警阈值的平稳性和可靠性，进而更加准确地实现对网站应用异常的检测。
在本实施例在实施例1的基础上，结合一阶指数平滑技术以及斜率来实现网站应用的异常检测，进一步提高了异常检测的即时性与准确性，提升了用户体验。
实施例4
本实施例提供一种基于网站应用错误数的异常检测系统，图4示出了本实施例的模块示意图。参见图4，本实施例的异常检测系统包括：
错误数获取模块101，用于获取单位时间内发生的历史网站应用错误数以及当前时间实际发生的实际网站应用错误数x(n)；
错误数预测模块102，用于根据历史网站应用错误数以及实际网站应用错误数x(n)预测当前时间发生的预测网站应用错误数s(n)；
告警阈值设置模块103，用于根据预测网站应用错误数s(n)设置告警阈值；
异常判断模块104，用于根据实际网站应用错误数x(n)和告警阈值判断网站应用是否发生异常；
异常数计数模块105，用于当异常判断模块判断为是时，将异常数加1，并调用频数判断模块106；当异常判断模块判断为否时，将异常数清零，并调用错误数获取模块101；
频数判断模块106，用于判断异常数是否大于第一阈值，若是，则调用告警输出模块107；若否，则调用错误数获取模块101；
告警输出模块107，用于输出异常告警。
在本实施例中，错误数获取模块101实时获取实际发生的实际网站应用错误数x(n)，错误数预测模块102根据历史网站应用错误数以及实际网站应用错误数x(n)实时预测当前时间发生的预测网站应用错误数s(n)，告警阈值设置模块103根据不断更新的预测网站应用错误数s(n)动态地设置告警阈值。并且，异常判断模块104也根据不断更新的实际网站应用错误数x(n)和告警阈值实时判断网站应用是否发生异常，从而实现了对网站应用错误数的动态异常检测，可以准确、及时地发现网站应用的异常，减少网站业务损失。
此外，在本实施例中，第一阈值的取值可以根据实际需要自定义设置。通过第一阈值的设定，既可以避免被大量的异常告警淹没，也能够有效避免异常告警的误报或漏报，提升用户体验。
实施例5
本实施例提供的基于网站应用错误数的异常检测系统，是对实施例4的进一步改进，图5示出了本实施例的模块示意图。参见图5，本实施例的异常检测系统较之实施例4，还包括：
方差预测模块108，用于根据预测网站应用错误数s(n)以及实际网站应用错误数x(n)预测当前时间发生的预测网站应用错误数的方差σ2(n)；
差值计算模块109，用于计算实际网站应用错误数x(n)与预测网站应用错误数s(n)之间的差值δ(n)，其中δ(n)＝x(n)-s(n)。
在本实施例中，包括但不限于使用一阶指数平滑技术来实现对预测网站应用错误数s(n)以及方差σ2(n)的预测，具体地：
错误数预测模块102根据s(n)＝α*s(n-1)+(1-α)*x(n)，其中α是超参数，实现对预测网站应用错误数s(n)的预测；
方差预测模块108根据σ2(n)＝β*σ2(n-1)+(1-β)*[x(n)-s(n)]，其中β是超参数，实现对方差σ2(n)的预测。
在本实施例中，包括但不限于以标准差σ(n)为参数，利用3σ准则来设计异常告警函数，也即告警阈值设置模块103将告警阈值设置为3σ(n)，异常判断模块104判断差值δ(n)是否大于3σ(n)，若判断为是，则确定网站应用发生了异常。
此外，在网站应用发生异常时，错误数预测模块102和告警阈值设置模块103分别不更新或者慢更新预测网站应用错误数s(n)和告警阈值，具体地：
慢更新预测网站应用错误数s(n)是指增大α的取值；
不更新预测网站应用错误数s(n)是指：令s(n)与s(n-1)取值相同；
慢更新告警阈值是指增大β的取值；
不更新告警阈值是指：令3σ(n)与3σ(n-1)取值相同。
原因在于，预测网站应用错误数s(n)和告警阈值的取值依赖于当前时间实际发生的实际网站应用错误数x(n)，因此，不更新或者慢更新预测网站应用错误数s(n)和告警阈值，是为了减小甚至消灭在网站应用异常发生的当前时间，实际发生的实际网站应用错误数x(n)对当前时间预测的预测网站应用错误数s(n)和告警阈值的影响，以确保告警阈值的平稳性和可靠性，进而更加准确地实现对网站应用异常的检测。
在本实施例在实施例4的基础上，结合一阶指数平滑技术以及3σ准则来实现网站应用的异常检测，进一步提高了异常检测的即时性与准确性，提升了用户体验。
实施例6
本实施例提供的基于网站应用错误数的异常检测系统，是对实施例4的进一步改进，图6示出了本实施例的模块示意图。参见图6，本实施例的异常检测系统较之实施例4，还包括：
斜率计算模块110，用于计算当前时间网站应用错误数的斜率k(n)，其中k(n)＝x(n)-x(n-1)。
在本实施例中，包括但不限于使用一阶指数平滑技术来实现对预测网站应用错误数s(n)的预测，具体地：
错误数预测模块102根据s(n)＝α*s(n-1)+(1-α)*x(n)，其中α是超参数，实现对预测网站应用错误数s(n)的预测。
在本实施例中，包括但不限于以斜率k(n)为参数，来设计异常告警函数，也即告警阈值设置模块103将告警阈值设置为γ*s(n)，其中γ是超参数，异常判断模块104判断斜率k(n)是否大于γ*s(n)，若判断为是，则确定网站应用发生了异常。
此外，在网站应用发生异常时，告警阈值设置模块103不更新或者慢更新告警阈值，具体地：
慢更新告警阈值是指增大α的取值；
不更新告警阈值是指：令γ*s(n)与γ*s(n-1)取值相同。
原因在于，告警阈值的取值依赖于当前时间实际发生的实际网站应用错误数x(n)，因此，不更新或者慢更新告警阈值，是为了减小甚至消灭在网站应用异常发生的当前时间，实际发生的实际网站应用错误数x(n)对当前时间的告警阈值的影响，以确保告警阈值的平稳性和可靠性，进而更加准确地实现对网站应用异常的检测。
在本实施例在实施例4的基础上，结合一阶指数平滑技术以及斜率来实现网站应用的异常检测，进一步提高了异常检测的即时性与准确性，提升了用户体验。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种基于网站应用错误数的异常检测方法，其特征在于，包括：
获取单位时间内发生的历史预测网站应用错误数s(n-1)以及当前时间实际发生的实际网站应用错误数x(n)；
根据所述历史预测网站应用错误数s(n-1)以及实际网站应用错误数x(n)预测当前时间发生的预测网站应用错误数s(n)；
根据预测网站应用错误数s(n)设置告警阈值；
根据实际网站应用错误数x(n)和所述告警阈值判断网站应用是否发生异常；
根据预测网站应用错误数s(n)设置告警阈值的步骤具体包括：
将所述告警阈值设置为γ*s(n)，其中γ是超参数；
根据实际网站应用错误数x(n)和所述告警阈值判断网站应用是否发生异常的步骤具体包括：
计算当前时间网站应用错误数的斜率k(n)，其中k(n)＝x(n)-x(n-1)；
判断斜率k(n)是否大于γ*s(n)；
若是，则确定网站应用发生异常。
2.如权利要求1所述的基于网站应用错误数的异常检测方法，其特征在于，所述异常检测方法还包括：
当网站应用发生异常时，将异常数加1，并判断所述异常数是否大于第一阈值；
若是，则输出异常告警；
若否，则返回获取单位时间内发生的历史预测网站应用错误数s(n-1)以及当前时间实际发生的实际网站应用错误数x(n)的步骤；
当网站应用未发生异常时，将异常数清零，并返回获取单位时间内发生的历史预测网站应用错误数s(n-1)以及当前时间实际发生的实际网站应用错误数x(n)的步骤。
3.如权利要求2所述的基于网站应用错误数的异常检测方法，其特征在于，根据预测网站应用错误数s(n)设置告警阈值的步骤具体包括：
根据预测网站应用错误数s(n)以及实际网站应用错误数x(n)预测当前时间发生的预测网站应用错误数的方差σ2(n)；
将所述告警阈值设置为3σ(n)；
根据实际网站应用错误数x(n)和所述告警阈值判断网站应用是否发生异常的步骤具体包括：
计算实际网站应用错误数x(n)与预测网站应用错误数s(n)之间的差值δ(n)，其中δ(n)＝x(n)-s(n)；
判断差值δ(n)是否大于3σ(n)；
若是，则确定网站应用发生异常。
4.如权利要求3所述的基于网站应用错误数的异常检测方法，其特征在于，通过一阶指数平滑技术预测预测网站应用错误数s(n)以及方差σ2(n)，其中：
s(n)＝α*s(n-1)+(1-α)*x(n)，其中α是超参数；
σ2(n)＝β*σ2(n-1)+(1-β)*[x(n)-s(n)]，其中β是超参数；
在网站应用发生异常时，所述异常检测方法还包括不更新或者慢更新预测网站应用错误数s(n)和所述告警阈值；
慢更新预测网站应用错误数s(n)是指增大α的取值；
不更新预测网站应用错误数s(n)是指：令s(n)与s(n-1)取值相同；
慢更新所述告警阈值是指增大β的取值；
不更新所述告警阈值是指：令3σ(n)与3σ(n-1)取值相同。
5.如权利要求1所述的基于网站应用错误数的异常检测方法，其特征在于，通过一阶指数平滑技术预测预测网站应用错误数s(n)，其中：
s(n)＝α*s(n-1)+(1-α)*x(n)，其中α是超参数；
在网站应用发生异常时，所述异常检测方法还包括不更新或者慢更新所述告警阈值；
慢更新所述告警阈值是指增大α的取值；
不更新所述告警阈值是指：令γ*s(n)与γ*s(n-1)取值相同。
6.一种基于网站应用错误数的异常检测系统，其特征在于，所述异常检测系统包括：
错误数获取模块，用于获取单位时间内发生的历史预测网站应用错误数s(n-1)以及当前时间实际发生的实际网站应用错误数x(n)；
错误数预测模块，用于根据所述历史预测网站应用错误数s(n-1)以及实际网站应用错误数x(n)预测当前时间发生的预测网站应用错误数s(n)；
告警阈值设置模块，用于根据预测网站应用错误数s(n)设置告警阈值；
异常判断模块，用于根据实际网站应用错误数x(n)和所述告警阈值判断网站应用是否发生异常；
所述告警阈值设置模块将所述告警阈值设置为γ*s(n)，其中γ是超参数，所述异常检测系统还包括：
斜率计算模块，用于计算当前时间网站应用错误数的斜率k(n)，其中k(n)＝x(n)-x(n-1)；
则所述异常判断模块判断斜率k(n)是否大于γ*s(n)；
若是，则确定网站应用发生异常。
7.如权利要求6所述的基于网站应用错误数的异常检测系统，其特征在于，所述异常检测系统还包括：
异常数计数模块，用于当所述异常判断模块判断为是时，将异常数加1，并调用频数判断模块；当所述异常判断模块判断为否时，将异常数清零，并调用所述错误数获取模块；
所述频数判断模块，用于判断所述异常数是否大于第一阈值；
若是，则调用告警输出模块；
若否，则调用所述错误数获取模块；
所述告警输出模块，用于输出异常告警。
8.如权利要求7所述的基于网站应用错误数的异常检测系统，其特征在于，所述异常检测系统还包括：
方差预测模块，用于根据预测网站应用错误数s(n)以及实际网站应用错误数x(n)预测当前时间发生的预测网站应用错误数的方差σ2(n)；
则所述告警阈值设置模块将所述告警阈值设置为3σ(n)；
差值计算模块，用于计算实际网站应用错误数x(n)与预测网站应用错误数s(n)之间的差值δ(n)，其中δ(n)＝x(n)-s(n)；
则所述异常判断模块判断差值δ(n)是否大于3σ(n)；
若是，则确定网站应用发生异常。
9.如权利要求8所述的基于网站应用错误数的异常检测系统，其特征在于，所述错误数预测模块通过一阶指数平滑技术预测预测网站应用错误数s(n)，s(n)＝α*s(n-1)+(1-α)*x(n)，其中α是超参数；
在网站应用发生异常时，所述错误数预测模块不更新或者慢更新预测网站应用错误数s(n)；
慢更新预测网站应用错误数s(n)是指增大α的取值；
不更新预测网站应用错误数s(n)是指：令s(n)与s(n-1)取值相同；
所述方差预测模块通过一阶指数平滑技术预测方差σ2(n)，σ2(n)＝β*σ2(n-1)+(1-β)*[x(n)-s(n)]，其中β是超参数；
在网站应用发生异常时，所述告警阈值设置模块不更新或者慢更新所述告警阈值；
慢更新所述告警阈值是指增大β的取值；
不更新所述告警阈值是指：令3σ(n)与3σ(n-1)取值相同。
10.如权利要求6所述的基于网站应用错误数的异常检测系统，其特征在于，所述错误数预测模块通过一阶指数平滑技术预测预测网站应用错误数s(n)，s(n)＝α*s(n-1)+(1-α)*x(n)，其中α是超参数；
在网站应用发生异常时，所述告警阈值设置模块不更新或者慢更新所述告警阈值；
慢更新所述告警阈值是指增大α的取值；
不更新所述告警阈值是指：令γ*s(n)与γ*s(n-1)取值相同。
CN201810215189.4A 2018-03-15 2018-03-15 基于网站应用错误数的异常检测方法及系统 Active CN108540340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810215189.4A CN108540340B (zh) 2018-03-15 2018-03-15 基于网站应用错误数的异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810215189.4A CN108540340B (zh) 2018-03-15 2018-03-15 基于网站应用错误数的异常检测方法及系统

Publications (2)

Publication Number Publication Date
CN108540340A CN108540340A (zh) 2018-09-14
CN108540340B true CN108540340B (zh) 2021-05-07

Family

ID=63483577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810215189.4A Active CN108540340B (zh) 2018-03-15 2018-03-15 基于网站应用错误数的异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN108540340B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365527B (zh) * 2019-07-09 2022-04-26 北京锐安科技有限公司 运维监测方法和系统
CN113364602B (zh) * 2020-03-03 2024-08-13 阿里巴巴集团控股有限公司 一种触发页面故障报警的方法、装置和存储介质
CN111832827A (zh) * 2020-07-16 2020-10-27 国网北京市电力公司 一种配网故障预警方法、装置、可读介质及电子设备
CN112256548B (zh) * 2020-11-06 2022-08-09 微医云(杭州)控股有限公司 异常数据的监听方法、装置、服务器及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6385641B1 (en) * 1998-06-05 2002-05-07 The Regents Of The University Of California Adaptive prefetching for computer network and web browsing with a graphic user interface
CN101729389A (zh) * 2008-10-21 2010-06-09 北京启明星辰信息技术股份有限公司 基于流量预测和可信网络地址学习的流量控制装置和方法
CN102034350A (zh) * 2009-09-30 2011-04-27 北京四通智能交通系统集成有限公司 交通流数据短时预测方法及系统
CN103901305A (zh) * 2014-03-31 2014-07-02 广东电网公司电力科学研究院 电力设备的在线预警方法
CN104731690A (zh) * 2013-11-13 2015-06-24 奈飞公司 适应性度量收集、存储、和警告阈值
CN106469107A (zh) * 2016-08-31 2017-03-01 浪潮(北京)电子信息产业有限公司 一种存储资源的容量预测方法及装置
CN106599487A (zh) * 2016-12-16 2017-04-26 天津大学 基于arima模型和用户调控的动态方差实时报警方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070011214A1 (en) * 2005-07-06 2007-01-11 Venkateswararao Jujjuri Oject level adaptive allocation technique

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6385641B1 (en) * 1998-06-05 2002-05-07 The Regents Of The University Of California Adaptive prefetching for computer network and web browsing with a graphic user interface
CN101729389A (zh) * 2008-10-21 2010-06-09 北京启明星辰信息技术股份有限公司 基于流量预测和可信网络地址学习的流量控制装置和方法
CN102034350A (zh) * 2009-09-30 2011-04-27 北京四通智能交通系统集成有限公司 交通流数据短时预测方法及系统
CN104731690A (zh) * 2013-11-13 2015-06-24 奈飞公司 适应性度量收集、存储、和警告阈值
CN103901305A (zh) * 2014-03-31 2014-07-02 广东电网公司电力科学研究院 电力设备的在线预警方法
CN106469107A (zh) * 2016-08-31 2017-03-01 浪潮(北京)电子信息产业有限公司 一种存储资源的容量预测方法及装置
CN106599487A (zh) * 2016-12-16 2017-04-26 天津大学 基于arima模型和用户调控的动态方差实时报警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于动态阈值的网络异常检测";冯兴杰等;《计算机工程与设计》;20120630;全文 *

Also Published As

Publication number Publication date
CN108540340A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108540340B (zh) 基于网站应用错误数的异常检测方法及系统
CN107871190B (zh) 一种业务指标监控方法及装置
CN110445680B (zh) 网络流量异常检测方法、装置及服务器
CN109387303B (zh) 轴温传感器的检测方法及装置
CN110405388B (zh) 预测焊接质量的方法、装置及电子设备
CN111143169A (zh) 异常参数检测方法及装置、电子设备、存储介质
CN110687555B (zh) 一种导航卫星原子钟弱频率跳变在轨自主快速检测方法
US8560492B2 (en) Robust filtering and prediction using switching models for machine condition monitoring
JP5375435B2 (ja) 震度測定装置
CN106503841B (zh) 指标阈值的确定方法和装置
CN112737894B (zh) 网络质量监控方法和装置、存储介质和电子设备
CN109861857A (zh) 故障检测方法及装置
CN113194306B (zh) 帧率波动评估方法、装置、移动终端、系统和存储介质
CN115643193A (zh) 一种网络流量异常检测方法、装置、设备及介质
KR101821644B1 (ko) 실시간 온도값 예측에 의한 적외선 불균일 보정 장치 및 방법
CN111258863B (zh) 数据异常检测方法、装置、服务器和计算机可读存储介质
JPWO2015194235A1 (ja) 抜取データ処理装置、抜取データ処理方法及びコンピュータプログラム
CN116974869A (zh) 指标数据监控方法、装置、电子设备和存储介质
CN116699093A (zh) 一种地下水质检测方法、系统及可读存储介质
US11614560B2 (en) Integration of physical sensors in a data assimilation framework
US20110257906A1 (en) Method for processing a time discrete, one dimensional, measurement signal
JP6011650B2 (ja) 架空送電線の風音評価方法
JP2018184092A (ja) 波形推定装置、波形推定方法および波形推定プログラム
CN108460157B (zh) 一种数据处理方法以及处理设备
JP2010006607A (ja) つり上げ装置に掛かる負荷の変化を決定する方法及び復元する方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant