CN105791030B - 一种大规模网络服务系统异常预警方法 - Google Patents
一种大规模网络服务系统异常预警方法 Download PDFInfo
- Publication number
- CN105791030B CN105791030B CN201610288807.9A CN201610288807A CN105791030B CN 105791030 B CN105791030 B CN 105791030B CN 201610288807 A CN201610288807 A CN 201610288807A CN 105791030 B CN105791030 B CN 105791030B
- Authority
- CN
- China
- Prior art keywords
- behavior
- amplification factor
- moment
- retardation
- load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明针对用户合法行为短时聚集引起的系统异常问题,提出一种大规模网络服务系统异常预警的方法,建立系统预期负载与“放大因子”关系模型以及系统行为阻滞度模型,把用户量与用户提交的重复行为数对系统的影响通过“放大因子”放大,使之可以在系统出现异常之前快速感知到系统负载的变化趋势,并且定位异常行为。本发明从系统可用性的角度,通过系统行为的可预见性解决了开放网络服务系统环境中用户行为的不可预见性。
Description
技术领域
本发明涉及一种大规模网络服务系统,属于信息技术技术领域。
背景技术
随着软件技术的不断发展,普适计算软件、超大规模软件系统、网构软件等新一代软件范型不断涌现,基于网络的服务系统给用户需求满足带来了巨大的便捷性.与传统计算机软件相比,互联网服务系统所表现出的大规模性、开放性、复杂性等特征,使得软件自适应对系统感知提出了更高的要求。
对于感知系统信息和故障检测,Yang等(Yang Y,Huang Y,Cao J,et al.Formalspecification and runtime detection of dynamic properties in asynchronouspervasive computing environments[J].Parallel and Distributed Systems,IEEETransactions on,2013,24(8):1546-1555)提出利用“建模-规约-检测”的分布异步环境感知框架来检测异步动态属性的普适计算环境。Huang等(Huang T,Ma X,Ji X,et al.Anefficient method for online detecting abnormal cascading pattern indistributed networks[C]//Fuzzy Systems and Knowledge Discovery(FSKD),201310th International Conference on.IEEE,Shenyang,China,2013:741-746)提出了一种级联模式用于分布式网络的在线监测异常事件
现有的系统异常检测方法大多适用于用户非法行为造成的系统异常。
发明内容
本发明的目的是:针对用户合法行为短时聚集引起的系统异常问题,提出一种大规模网络服务系统异常预警的方法,建立系统预期负载与“放大因子”关系模型以及系统行为阻滞度模型,把用户量与用户提交的重复行为数对系统的影响通过“放大因子”放大,使之可以在系统出现异常之前快速感知到系统负载的变化趋势,并且定位异常行为。
为了达到上述目的,本发明的技术方案是提供了一种大规模网络服务系统异常预警方法,其特征在于,大规模网络服务系统包括放大因子模块、系统预期负载与放大因子关系模块、系统行为阻滞度模块,其中:
放大因子模块,用于阐明放大因子是用户不可控性的行为偏差影响的,其放大因子模型为:
NTRt=β1ΔBrt/Δt+β2ΔSt/Δt,式中,NTRt为t时刻的放大因子,ΔBrt表示在趋近t时刻的系统用户重复提交的总的行为数的变化量;ΔSt表示在趋近t时刻的用户数的变化量;系统重复行为阻滞系数β1是t时刻所有用户重复提交的行为数Brt占总的系统行为数Bt的比重;系统行为阻滞系数β2是在t时刻的所有用户正常提交的行为数Bft占总的系统行为数Bt的比重,Δt是趋近于t时刻的时间间隔;
系统预期负载与放大因子关系模块,用于查找预期负载与放大因子的影响情况,系统预期负载与放大因子关系模型是:
Ct=Bt×a;Cbt=NTRt×Bft×a,式中,Ct是t时刻系统的实际负载;Cbt是t时刻预期的系统负载;t时刻系统中用户提交的总的行为数Bt是t时刻系统中所有用户正常提交的行为数Bft和重复提交的行为数Brt的总和,a表示一个用户提交的一个请求行为所需要的系统行为的负载;
系统行为阻滞度模块,用于在系统发出预警信号后找出系统异常行为所在,其系统行为阻滞度模型为:
式中,{b1,b2,b3,…,bn}表示系统的行为序列,wit系统行为阻滞度,则异常预警方法包括以下步骤:
S1、计算所有用户在当前时刻t提交的总的行为数对应的一个实际的系统负载;
S2、计算当前时刻t的放大因子NTRt的值;
S3、计算所有用户在当前时刻t提交的正常行为数在放大因子的作用下所需要的预期系统负载;
S4、如果Cbt大于最大系统负载Cmax,预警系统在未来的某个时刻会发生异常;
S5、计算当前时刻t所有行为序列{b1,b2,b3,…,bn}的阻滞度;
S6、比较当前时刻t所有行为序列{b1,b2,b3,…,bn}的阻滞度;
S7、输出阻滞度最大的系统行为,即异常行为;
S8、算法结束。
发明的有益效果:
本发明的异常敏捷感知方法可以快速感知系统异常,比Yang等提出利用“建模-规约-检测”的分布异步环境感知框架来检测异步动态属性的普适计算环境的实时性要好,该方法从系统可用性的角度,通过系统行为的可预见性解决了开放网络服务系统环境中用户行为的不可预见性。
附图说明
图1为系统行为异常敏捷感知方法流程图;
图2为某网购系统流程图。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明涉及大规模网络服务系统,主要有三个部分组成:
(1)放大因子模块。该模块负责阐明放大因子是用户不可控性的行为偏差影响的。
(2)系统预期负载与放大因子关系模块。该模块负责查找预期负载与放大因子的影响情况。
(3)系统行为阻滞度模块。该模块负责在系统发出预警信号后找出系统异常行为所在。
本发明的技术核心在于放大因子模块,“放大因子”模型的建立。基本思想是:根据行为噪音的思想,提取单位时间内用户提交的正常行为数和重复行为数的变化量对系统负载影响的因素,建立“放大因子”模型,并将这种影响放大来看,使之可以在系统异常表征出现之前,提前感知到系统负载微小的变化趋势。
根据以上基本思想,定义本发明的系统异常敏捷感知模型为:
放大因子模型为:
NTRt=β1ΔBrt/Δt+β2ΔSt/Δt,式中,NTRt为t时刻的放大因子,ΔBrt表示在趋近t时刻的系统用户重复提交的总的行为数的变化量;ΔSt表示在趋近t时刻的用户数的变化量;系统重复行为阻滞系数β1是t时刻所有用户重复提交的行为数Brt占总的系统行为数Bt的比重;系统行为阻滞系数β2是在t时刻的所有用户正常提交的行为数Bft占总的系统行为数Bt的比重,Δt是趋近于t时刻的时间间隔;
系统预期负载与放大因子关系模型是:
Ct=Bt×a;Cbt=NTRt×Bft×a,式中,Ct是t时刻系统的实际负载;Cbt是t时刻预期的系统负载;t时刻系统中用户提交的总的行为数Bt是t时刻系统中所有用户正常提交的行为数Bft和重复提交的行为数Brt的总和,a是一个用户提交的一个请求行为所需要的系统行为的负载;
系统行为阻滞度模型为:
式中,{b1,b2,b3,…,bn}表示系统的行为序列,wit是系统行为阻滞度。
本发明提供的如图1所示大规模网络服务系统异常敏捷感知方法可以应用到某网购网站等大规模网络服务系统中,实现了系统预警和定位异常行为。具体方法描述如下:
如图2所示是某网购系统流程,假设对某网购系统流程中的用户登录行为、浏览网页行为、加入购物车行为、支付行为进行关键监测,检测其上述四种关键系统行为总的用户提交正常行为数和重复行为数。具体数据假设如表1所示:
表1 检测系统总行为数数据表
Time | Bf<sub>t</sub> | Br<sub>t</sub> | B<sub>t</sub> | |
t<sub>1</sub> | 9:00 | 12083 | 7953 | 20036 |
t<sub>2</sub> | 9:10 | 15937 | 12394 | 28331 |
t<sub>3</sub> | 9:20 | 22671 | 17568 | 40239 |
t<sub>4</sub> | 9:30 | 33755 | 21052 | 54807 |
t<sub>5</sub> | 9:40 | 38272 | 21953 | 60225 |
假设淘宝网购系统所能承受的最大系统负载Cmax为60000,一个用户提交的一个请求行为所需要的系统负载a为1;从表1数据得出:
当t5=9:40,
当t4=9:40,S1、
S2、
S3、
S4、即当Time=9:30时,
S5、系统发出预警,且t5<t4。
S6、从表2数据得出:
w2t=∑b2/Bt=10154/54807≈0.19,
w3t=∑b3/Bt=12197/54807≈0.22,
w4t=∑b4/Bt=22103/54807≈0.40。
S7、当Time=9:30时,w4t≈0.40最大,输出系统异常行为是b4,即支付行为。
表2 9:30检测各行为数据表
Claims (1)
1.一种大规模网络服务系统异常预警方法,其特征在于,大规模网络服务系统包括放大因子模块、系统预期负载与放大因子关系模块、系统行为阻滞度模块,其中:
放大因子模块,用于阐明放大因子是用户不可控性的行为偏差影响的,其放大因子模型为:
NTRt=β1ΔBrt/Δt+β2ΔSt/Δt,式中,NTRt为t时刻的放大因子,ΔBrt表示在趋近t时刻的系统用户重复提交的总的行为数的变化量;ΔSt表示在趋近t时刻的用户数的变化量;系统重复行为阻滞系数β1是t时刻所有用户重复提交的行为数Brt占总的系统行为数Bt的比重;系统行为阻滞系数β2是在t时刻的所有用户正常提交的行为数Bft占总的系统行为数Bt的比重,Δt是趋近于t时刻的时间间隔;
系统预期负载与放大因子关系模块,用于查找预期负载与放大因子的影响情况,系统预期负载与放大因子关系模型是:
Ct=Bt×a;Cbt=NTRt×Bft×a,式中,Ct是t时刻系统的实际负载;Cbt是t时刻预期的系统负载;t时刻系统中用户提交的总的行为数Bt是t时刻系统中所有用户正常提交的行为数Bft和重复提交的行为数Brt的总和,a是一个用户提交的一个请求行为所需要的系统行为的负载;
系统行为阻滞度模块,用于在系统发出预警信号后找出系统异常行为所在,其系统行为阻滞度模型为:
式中,{b1,b2,b3,…,bn}表示系统的行为序列,wit是系统行为阻滞度,则异常预警方法包括以下步骤:
S1、计算所有用户在当前时刻t提交的总的行为数对应的一个实际的系统负载;
S2、计算当前时刻t的放大因子NTRt的值;
S3、计算所有用户在当前时刻t提交的正常行为数在放大因子的作用下所需要的预期系统负载;
S4、如果Cbt大于最大系统负载Cmax,预警系统在未来的某个时刻会发生异常;
S5、计算当前时刻t所有行为序列{b1,b2,b3,…,bn}的阻滞度;
S6、比较当前时刻t所有行为序列{b1,b2,b3,…,bn}的阻滞度;
S7、输出阻滞度最大的系统行为,即异常行为;
S8、算法结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610288807.9A CN105791030B (zh) | 2016-05-04 | 2016-05-04 | 一种大规模网络服务系统异常预警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610288807.9A CN105791030B (zh) | 2016-05-04 | 2016-05-04 | 一种大规模网络服务系统异常预警方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105791030A CN105791030A (zh) | 2016-07-20 |
CN105791030B true CN105791030B (zh) | 2019-05-03 |
Family
ID=56400506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610288807.9A Expired - Fee Related CN105791030B (zh) | 2016-05-04 | 2016-05-04 | 一种大规模网络服务系统异常预警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105791030B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106953811B (zh) * | 2017-03-14 | 2020-05-26 | 东华大学 | 一种大规模网络服务系统行为重构方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008052042A9 (en) * | 2006-10-24 | 2008-08-14 | Edsa Micro Corp | Systems and methods for a real-time synchronized electrical power system simulator for 'what-if' analysis and prediction over electrical power networks |
CN102130906A (zh) * | 2011-01-27 | 2011-07-20 | 北京信安天元科技有限公司 | 基于随机Petri网的网络安全风险分析方法 |
CN102299897A (zh) * | 2010-06-23 | 2011-12-28 | 电子科技大学 | 基于特征关联的对等网络特征分析方法 |
-
2016
- 2016-05-04 CN CN201610288807.9A patent/CN105791030B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008052042A9 (en) * | 2006-10-24 | 2008-08-14 | Edsa Micro Corp | Systems and methods for a real-time synchronized electrical power system simulator for 'what-if' analysis and prediction over electrical power networks |
CN102299897A (zh) * | 2010-06-23 | 2011-12-28 | 电子科技大学 | 基于特征关联的对等网络特征分析方法 |
CN102130906A (zh) * | 2011-01-27 | 2011-07-20 | 北京信安天元科技有限公司 | 基于随机Petri网的网络安全风险分析方法 |
Non-Patent Citations (1)
Title |
---|
基于 Web 用户浏览行为的统计异常检测;谢逸等;《软件学报》;20070430;第18卷(第4期);全文 |
Also Published As
Publication number | Publication date |
---|---|
CN105791030A (zh) | 2016-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109558295B (zh) | 一种性能指标异常检测方法及装置 | |
WO2017143934A1 (zh) | 网络访问行为识别方法和装置、服务器和存储介质 | |
Polycarpou et al. | Learning approach to nonlinear fault diagnosis: detectability analysis | |
EP3425527A1 (en) | Method of training machine learning system, and training system | |
Kissock et al. | Inverse modeling toolkit: numerical algorithms | |
CN107911346B (zh) | 一种基于极限学习机的入侵检测方法 | |
CN109508416B (zh) | 基于评论数量的微博舆情事件热度与发展趋势预测方法 | |
JP2017084383A5 (zh) | ||
Jin et al. | Kuiper test and autoregressive model-based approach for wireless sensor network fault diagnosis | |
CN106101116A9 (zh) | 一种基于主成分分析的用户行为异常检测系统及方法 | |
CN107493277A (zh) | 基于最大信息系数的大数据平台在线异常检测方法 | |
Bao et al. | Estimating positive surveys from negative surveys | |
Kaur et al. | Trust-based security mechanism for detecting clusters of fake users in social networks | |
US11620539B2 (en) | Method and device for monitoring a process of generating metric data for predicting anomalies | |
CN107464132A (zh) | 一种相似用户挖掘方法及装置,电子设备 | |
US9613123B2 (en) | Data stream processing | |
CN107944547A (zh) | 一种基于rnn的结构时变可靠性评估方法 | |
CN105791030B (zh) | 一种大规模网络服务系统异常预警方法 | |
JP5971395B2 (ja) | システム分析装置、及び、システム分析方法 | |
CN114117337A (zh) | 一种面向工业控制终端设备的单向安全检测与多因子加权评估系统 | |
Jun-Jian et al. | User's behavior trust evaluate algorithm based on cloud model | |
Wang | Comments on operational competitiveness rating analysis (OCRA) | |
Amini et al. | Optimal design for step‐stress accelerated test with random discrete stress elevating times based on gamma degradation process | |
Thiam | Relative error prediction in nonparametric deconvolution regression model | |
KR102029635B1 (ko) | 컨텐츠에 대한 부정 클릭을 탐지하는 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190503 |