CN105187451A - 网站流量异常检测方法及系统 - Google Patents

网站流量异常检测方法及系统 Download PDF

Info

Publication number
CN105187451A
CN105187451A CN201510650026.5A CN201510650026A CN105187451A CN 105187451 A CN105187451 A CN 105187451A CN 201510650026 A CN201510650026 A CN 201510650026A CN 105187451 A CN105187451 A CN 105187451A
Authority
CN
China
Prior art keywords
website
flow
flow information
value
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510650026.5A
Other languages
English (en)
Other versions
CN105187451B (zh
Inventor
吴善鹏
郭广亮
雷兵
陈宏�
朱志博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ctrip Computer Technology Shanghai Co Ltd
Original Assignee
Ctrip Computer Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Computer Technology Shanghai Co Ltd filed Critical Ctrip Computer Technology Shanghai Co Ltd
Priority to CN201510650026.5A priority Critical patent/CN105187451B/zh
Publication of CN105187451A publication Critical patent/CN105187451A/zh
Application granted granted Critical
Publication of CN105187451B publication Critical patent/CN105187451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网站流量异常检测方法及系统。该网站流量异常检测方法包括：采集网站中的各个站点的网络流量，并以流量信息的形式保存；判断采集的网络流量是否为新产生的流量，并仅在判断结果为是时将相应的流量信息存入缓存队列中；缓存队列将队列的流量信息依顺序存储至流量信息相对应的站点的历史流量序列中；读取各个站点的历史流量序列，并采用流量异常算法计算最新加入历史流量序列中的流量信息的流量值是否异常；对于具有异常流量值的流量信息，根据流量信息发出告警。本发明的网站流量异常检测方法及系统能够准确、及时地发现网络流量异常值，并且快速定位发生流量异常的站点，提高了发现流量异常的速率。

Description

网站流量异常检测方法及系统
技术领域
本发明涉及网络的流量异常，尤其涉及一种网站流量异常检测方法及系统。
背景技术
随着互联网技术的不断发展，在线网站的规模越来越大，网站使用量也相应的急速增长，如何保证网站的稳定性，成为网站运维的重要任务。其中监控网站的流量就是维护网站稳定性的重要参考。随着网站下子站点的增加，传统的人工观察网站流量异常值的方法，已经无法完成对整个网站的流量分析的需要，使得网站流量异常值分析存在着时效性差，耗费人力等问题，如果发生针对网站的恶意攻击时，网站发现攻击的敏感性相对较低。
因此，亟需一种能够及时准确并且快捷地发现网站流量的异常值，进而快速定位发生异常流量的网络位置的方法。
发明内容
本发明要解决的技术问题是为了克服现有技术网站流量异常值分析存在时效性差、耗费人力，并且如果发生针对网站的恶意攻击时，网站发现攻击的敏感性相对较低的缺陷，提供一种网站流量异常检测方法及系统。
本发明是通过下述技术方案来解决上述技术问题的：
一种网站流量异常检测方法，其特点在于，包括以下步骤：
S1、采集网站中的各个站点的网络流量，并以流量信息的形式保存，流量信息包含流量值、时间和站点；
S2、判断S1中采集的网络流量是否为新产生的流量，并仅在判断结果为是时将相应的流量信息存入缓存队列中；
S3、缓存队列将队列的流量信息依顺序存储至流量信息相对应的站点的历史流量序列中；
S4、读取各个站点的历史流量序列，并采用流量异常算法计算最新加入历史流量序列中的流量信息的流量值是否异常；
S5、对于具有异常流量值的流量信息，根据流量信息发出告警。
本领域技术人员应当理解，针对网络流量的异常值或者异常波动进行判断的算法在本领域中已经有较为成熟的多种，较为典型地是将单个流量值与其之前的流量值序列进行比较得出是否为异常值的判断结果，对于这些现有的算法，本发明中均可采用。并且，为了提高判断的精度，在本发明的一种优选方案中，步骤S4中采用多种流量异常算法进行计算，当多种流量异常算法中有不止一个算法或者是其中的大多数算法将某一流量值认定为异常值，才做出异常值认定的结果。
较佳地，步骤S5为：对于具有异常流量值的流量信息，提取其站点，然后向提取的站点发出告警。
较佳地，步骤S5中还提取具有异常流量值的流量信息的时间和/或流量值，发出的告警包含提取的时间和/或流量值。
较佳地，步骤S3为：缓存队列在填满的情况下将队列中最靠前的流量信息存储至流量信息相对应的站点的历史流量序列中。
应当注意的是，这里所说的队列中最靠前的流量信息，可以是指存入队列的时间最早的一个流量信息，也可以是存入队列的时间较早的多个流量信息。
较佳地，该网站流量异常检测方法还包括一步骤S6：根据每个站点的历史流量序列中的各个流量值提供图形化显示，并且标记其中的异常流量值。这种标记主要可以体现在图形化显示的图表中标记出异常流量值的时刻，当然也可以标记出出现异常流量值的站点。
本发明还提供了一种网站流量异常检测系统，其特点在于，包括：
流量采集模块，用于采集网站中的各个站点的网络流量，并以流量信息的形式保存，流量信息包含流量值、时间和站点；
导入模块，用于判断流量采集模块采集的网络流量是否为新产生的流量，并仅在判断结果为是时将相应的流量信息存入缓存队列模块；
缓存队列模块用于流量信息依顺序存储至流量信息相对应的站点的历史流量序列中；
异常值分析模块，用于读取各个站点的历史流量序列，并采用流量异常算法计算最新加入历史流量序列中的流量信息的流量值是否异常；
报警模块，用于对于具有异常流量值的流量信息，根据流量信息发出告警。
较佳地，报警模块用于对于具有异常流量值的流量信息，提取其站点，然后向提取的站点发出告警。
较佳地，报警模块还用于提取具有异常流量值的流量信息的时间和/或流量值，发出的告警包含提取的时间和/或流量值。
较佳地，缓存队列模块用于在存有流量信息的缓存队列填满时将缓存队列中最靠前的流量信息存储至流量信息相对应的站点的历史流量序列中。
较佳地，该网站流量异常检测系统还包括一图形化显示模块，用于根据每个站点的历史流量序列中的各个流量值提供图形化显示，并且标记其中的异常流量值。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：本发明的网站流量异常检测方法及系统能够准确、及时地发现网络流量异常值，并且快速定位发生流量异常的站点，提高了发现流量异常的速率，增强了网站抵御恶意攻击的敏感度，有利于更好的维护网站的访问稳定性。
附图说明
图1为本发明实施例1的网站流量异常检测方法的流程图。
图2为本发明实施例2的网站流量异常检测系统的示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
参考图1所示，本实施例的网站流量异常检测方法包括以下步骤：
S1、采集网站中的各个站点的网络流量，并以流量信息的形式保存，流量信息包含流量值、时间和站点；
S2、判断S1中采集的网络流量是否为新产生的流量，并仅在判断结果为是时将相应的流量信息存入缓存队列中；
S3、缓存队列在填满的情况下将队列中最靠前的流量信息存储至流量信息相对应的站点的历史流量序列中；
S4、读取各个站点的历史流量序列，并采用流量异常算法计算最新加入历史流量序列中的流量信息的流量值是否异常；
S5、对于具有异常流量值的流量信息，提取其站点，然后向提取的站点发出告警，发出的告警包含从流量信息中提取的时间和流量值；
S6、根据每个站点的历史流量序列中的各个流量值提供图形化显示，并且标记其中的异常流量值。
本实施例中，在步骤S4中采取6种已有的流量异常算法进行计算，并且仅在至少有3种流量异常算法的计算结果为流量值异常时才将其认定为异常流量值。
应当注意的是，这里所说的队列中最靠前的流量信息，是指存入队列的时间最早的一个流量信息。
实施例2
参考图2所示，本实施例的网站流量异常检测系统，包括：
流量采集模块1，用于采集网站中的各个站点的网络流量，并以流量信息的形式保存，流量信息包含流量值、时间和站点；
导入模块2，用于判断流量采集模块采集的网络流量是否为新产生的流量，并仅在判断结果为是时将相应的流量信息存入缓存队列模块；
缓存队列模块3用于在存有流量信息的缓存队列填满时将缓存队列中最靠前的流量信息存储至流量信息相对应的站点的历史流量序列中；
异常值分析模块4，用于读取各个站点的历史流量序列，并采用流量异常算法计算最新加入历史流量序列中的流量信息的流量值是否异常；
报警模块5，用于对于具有异常流量值的流量信息，提取其站点，然后向提取的站点发出告警，发出的告警包含提取的时间和流量值；
图形化显示模块6，用于根据每个站点的历史流量序列中的各个流量值提供图形化显示，并且标记其中的异常流量值。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种网站流量异常检测方法，其特征在于，包括以下步骤：
S1、采集网站中的各个站点的网络流量，并以流量信息的形式保存，流量信息包含流量值、时间和站点；
S2、判断S1中采集的网络流量是否为新产生的流量，并仅在判断结果为是时将相应的流量信息存入缓存队列中；
S3、缓存队列将队列的流量信息依顺序存储至流量信息相对应的站点的历史流量序列中；
S4、读取各个站点的历史流量序列，并采用流量异常算法计算最新加入历史流量序列中的流量信息的流量值是否异常；
S5、对于具有异常流量值的流量信息，根据流量信息发出告警。
2.如权利要求1所述的网站流量异常检测方法，其特征在于，步骤S5为：对于具有异常流量值的流量信息，提取其站点，然后向提取的站点发出告警。
3.如权利要求1所述的网站流量异常检测方法，其特征在于，步骤S5中还提取具有异常流量值的流量信息的时间和/或流量值，发出的告警包含提取的时间和/或流量值。
4.如权利要求1所述的网站流量异常检测方法，其特征在于，步骤S3为：缓存队列在填满的情况下将队列中最靠前的流量信息存储至流量信息相对应的站点的历史流量序列中。
5.如权利要求1-4中任意一项所述的网站流量异常检测方法，其特征在于，该网站流量异常检测方法还包括一步骤S6：根据每个站点的历史流量序列中的各个流量值提供图形化显示，并且标记其中的异常流量值。
6.一种网站流量异常检测系统，其特征在于，包括：
流量采集模块，用于采集网站中的各个站点的网络流量，并以流量信息的形式保存，流量信息包含流量值、时间和站点；
导入模块，用于判断流量采集模块采集的网络流量是否为新产生的流量，并仅在判断结果为是时将相应的流量信息存入缓存队列模块；
缓存队列模块用于流量信息依顺序存储至流量信息相对应的站点的历史流量序列中；
异常值分析模块，用于读取各个站点的历史流量序列，并采用流量异常算法计算最新加入历史流量序列中的流量信息的流量值是否异常；
报警模块，用于对于具有异常流量值的流量信息，根据流量信息发出告警。
7.如权利要求6所述的网站流量异常检测系统，其特征在于，报警模块用于对于具有异常流量值的流量信息，提取其站点，然后向提取的站点发出告警。
8.如权利要求6所述的网站流量异常检测系统，其特征在于，报警模块还用于提取具有异常流量值的流量信息的时间和/或流量值，发出的告警包含提取的时间和/或流量值。
9.如权利要求6所述的网站流量异常检测系统，其特征在于，缓存队列模块用于在存有流量信息的缓存队列填满时将缓存队列中最靠前的流量信息存储至流量信息相对应的站点的历史流量序列中。
10.如权利要求6-9中任意一项所述的网站流量异常检测系统，其特征在于，该网站流量异常检测系统还包括一图形化显示模块，用于根据每个站点的历史流量序列中的各个流量值提供图形化显示，并且标记其中的异常流量值。
CN201510650026.5A 2015-10-09 2015-10-09 网站流量异常检测方法及系统 Active CN105187451B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510650026.5A CN105187451B (zh) 2015-10-09 2015-10-09 网站流量异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510650026.5A CN105187451B (zh) 2015-10-09 2015-10-09 网站流量异常检测方法及系统

Publications (2)

Publication Number Publication Date
CN105187451A true CN105187451A (zh) 2015-12-23
CN105187451B CN105187451B (zh) 2018-10-09

Family

ID=54909295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510650026.5A Active CN105187451B (zh) 2015-10-09 2015-10-09 网站流量异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN105187451B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027577A (zh) * 2016-08-04 2016-10-12 四川无声信息技术有限公司 一种异常访问行为检测方法及装置
CN107306200A (zh) * 2016-04-22 2017-10-31 中国电信股份有限公司 网络故障预警方法和用于网络故障预警的网关
CN109630901A (zh) * 2018-11-29 2019-04-16 北京市燃气集团有限责任公司 一种中低压庭院管线异常流量识别方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1764126A (zh) * 2005-11-11 2006-04-26 上海交通大学 突发性异常网络流量的检测与监控方法
CN102118272A (zh) * 2009-12-31 2011-07-06 蓝盾信息安全技术股份有限公司 一种网络边界异常监控方法
CN102130800A (zh) * 2011-04-01 2011-07-20 苏州赛特斯网络科技有限公司 基于数据流行为分析的网络访问异常检测装置及方法
CN102377583A (zh) * 2010-08-09 2012-03-14 百度在线网络技术（北京）有限公司 统计网站流量的方法及系统
CN103067192A (zh) * 2011-10-20 2013-04-24 北京天行网安信息技术有限责任公司 一种网络流量的分析系统及方法
CN103152225A (zh) * 2013-03-22 2013-06-12 东华大学 一种基于VC++和tshark的流量监测和病毒防御方法
CN103281293A (zh) * 2013-03-22 2013-09-04 南京江宁台湾农民创业园发展有限公司 一种基于多维分层相对熵的网络流量异常检测方法
CN103532940A (zh) * 2013-09-30 2014-01-22 广东电网公司电力调度控制中心 网络安全检测方法及装置
US20150033336A1 (en) * 2013-07-24 2015-01-29 Fortinet, Inc. Logging attack context data

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1764126A (zh) * 2005-11-11 2006-04-26 上海交通大学 突发性异常网络流量的检测与监控方法
CN102118272A (zh) * 2009-12-31 2011-07-06 蓝盾信息安全技术股份有限公司 一种网络边界异常监控方法
CN102377583A (zh) * 2010-08-09 2012-03-14 百度在线网络技术（北京）有限公司 统计网站流量的方法及系统
CN102130800A (zh) * 2011-04-01 2011-07-20 苏州赛特斯网络科技有限公司 基于数据流行为分析的网络访问异常检测装置及方法
CN103067192A (zh) * 2011-10-20 2013-04-24 北京天行网安信息技术有限责任公司 一种网络流量的分析系统及方法
CN103152225A (zh) * 2013-03-22 2013-06-12 东华大学 一种基于VC++和tshark的流量监测和病毒防御方法
CN103281293A (zh) * 2013-03-22 2013-09-04 南京江宁台湾农民创业园发展有限公司 一种基于多维分层相对熵的网络流量异常检测方法
US20150033336A1 (en) * 2013-07-24 2015-01-29 Fortinet, Inc. Logging attack context data
CN103532940A (zh) * 2013-09-30 2014-01-22 广东电网公司电力调度控制中心 网络安全检测方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107306200A (zh) * 2016-04-22 2017-10-31 中国电信股份有限公司 网络故障预警方法和用于网络故障预警的网关
CN107306200B (zh) * 2016-04-22 2020-08-25 中国电信股份有限公司 网络故障预警方法和用于网络故障预警的网关
CN106027577A (zh) * 2016-08-04 2016-10-12 四川无声信息技术有限公司 一种异常访问行为检测方法及装置
CN106027577B (zh) * 2016-08-04 2019-04-30 四川无声信息技术有限公司 一种异常访问行为检测方法及装置
CN109630901A (zh) * 2018-11-29 2019-04-16 北京市燃气集团有限责任公司 一种中低压庭院管线异常流量识别方法及装置

Also Published As

Publication number Publication date
CN105187451B (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
CN109088869B (zh) Apt攻击检测方法及装置
CN108038044B (zh) 一种面向连续被监测对象的异常检测方法
CN109800627A (zh) 石油管道信号的异常检测方法及装置、设备及可读介质
CN109739904B (zh) 一种时间序列的标记方法、装置、设备和存储介质
CN103326885B (zh) 一种报警信息的处理方法及装置
CN104077706B (zh) 基于数据挖掘及保鲜预测的超市果蔬优化销售装置及方法
CN104407688A (zh) 基于树回归的虚拟化云平台能耗测量方法及系统
CN105187451A (zh) 网站流量异常检测方法及系统
CN115118581B (zh) 一种基于5g的物联网数据全链路监控和智能保障系统
CN108696486B (zh) 一种异常操作行为检测处理方法及装置
CN105488409B (zh) 一种检测恶意代码家族变种及新家族的方法及系统
CN112598539B (zh) 一种风力发电机组风功率曲线优化计算及异常值检测方法
CN110602105A (zh) 一种基于k-means的大规模并行化网络入侵检测方法
CN106844170B (zh) 一种故障处理、分析故障的影响面方法和设备
CN110971488A (zh) 一种数据处理方法、装置、服务器和存储介质
CN113236595B (zh) 风机故障分析方法、装置、设备及可读存储介质
CN101572713A (zh) 蠕虫检测方法及系统
CN105187415A (zh) 钓鱼网页检测方法
CN111738259A (zh) 一种杆塔状态检测方法及装置
CN102945360B (zh) 基于形态学和逻辑运算的多普勒雷达图像逆风区检测方法
CN105183612B (zh) 服务器可用内存异常增长及运行状况的评估方法
CN111222726B (zh) 测风数据异常的识别方法和设备
CN104458923B (zh) 一种检测变压器内油中各气体含量示警值的方法和系统
CN105117425B (zh) 选择兴趣点poi数据的方法及装置
CN105095649B (zh) 建筑物倾斜角度的数据分析方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant