CN109639654A - 一种基于自适应过滤模型识别tcp异常流量的方法 - Google Patents

一种基于自适应过滤模型识别tcp异常流量的方法 Download PDF

Info

Publication number
CN109639654A
CN109639654A CN201811452579.XA CN201811452579A CN109639654A CN 109639654 A CN109639654 A CN 109639654A CN 201811452579 A CN201811452579 A CN 201811452579A CN 109639654 A CN109639654 A CN 109639654A
Authority
CN
China
Prior art keywords
flow
tcp
formula
adaptive filtering
flexible strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811452579.XA
Other languages
English (en)
Inventor
张文宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Zhidaochuangyu Information Technology Co Ltd
Original Assignee
Chengdu Zhidaochuangyu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Zhidaochuangyu Information Technology Co Ltd filed Critical Chengdu Zhidaochuangyu Information Technology Co Ltd
Priority to CN201811452579.XA priority Critical patent/CN109639654A/zh
Publication of CN109639654A publication Critical patent/CN109639654A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于自适应过滤模型识别TCP异常流量的方法，具体方法为：利用统计模型即自适应过滤算法进行建模，根据历史流量预测未来的流量，当实际流量与预测流量的偏差超过定义的控制临界值时，判定为可疑流量，同时进一步根据预定义的异常规则库，解析匹配TCP数据包，进而判断是否为异常流量；本发明通过统计预测可以大幅提升TCP流量的检查效率，避免重复、复杂的数据包匹配流程，同时也有效降低异常流量的误报率。

Description

一种基于自适应过滤模型识别TCP异常流量的方法
技术领域
本发明属于TCP端异常流量识别领域，具体涉及一种基于自适应过滤模型识别TCP异常流量的方法。
背景技术
目前网络中大多数系统采用TCP协议进行数据传输，合法用户在使用系统的过程中产生正常的TCP流量，而非法或恶意的攻击者通过一些软件对系统发起流量型DDoS攻击，例如SYN-FLOOD、ACK-FLOOD，产生大量的异常流量。很多情况下，攻击发生时异常流量远远大于正常流量，严重时可导致网络瘫痪。
目前识别TCP异常流量，主要是通过固定阈值的方式，即流量超过某个具体阈值时，进入下一步的规则识别流程。
现有技术的缺点
1、误报率高。没有考虑正常的流量波动，比如不同的业务，可能存在流量的波峰和低谷，临时或突发性的活动也可能导致流量的激增。
2、效率低。由于高误报率导致频繁重复的进行数据包解析匹配流程，识别的成功率非常低。
3、成本高。识别TCP异常流量往往在防护设备或服务器上完成，而频繁大量的识别过程要求更多的资源和更高的性能，成本也必然随之增加。
发明内容
为解决上述问题，本发明提供一种基于自适应过滤模型识别TCP异常流量的方法，具体包括以下步骤：
1、模型训练：根据历史流量数据建立自适应过滤模型，通过迭代训练计算出最佳权数；
2、根据最佳权数预测下一期流量；
3、根据实际流量和预测流量计算偏差，判断偏差是否在控制临界值内，若不在则判定为可疑流量，同时进入下一步，否则返回步骤(2)继续预测下一期流量；
4、规则识别：进一步根据预定义的异常规则库，解析匹配TCP数据包，进而判断是否为异常流量。
步骤1中模型训练具体步骤为：
1.1根据历史流量特征确定权数个数p、初始权数φi及控制临界值；
1.2计算预测值，选取样本数据中前p个数据x1,x2，…，xp，根据公式(a)计算预测值；
1.3根据公式(b)计算预测误差；
1.4根据公式(c)调整最佳权数；
φ‘＝φ1+2kep+1xp-i+1 (c)
式中k为学习常数，取值必须满足k≤1/p；
1.5迭代执行步骤2，3，4，直至误差降到阈值MSE以内，则判定权数为一组最佳权数。上述阈值MSE为理想误差值，可以根据均方误差作为衡量标准：
式中n和t为样本数据个数，分别为累加公式的上界和下界。
步骤2中根据最佳权数预测下一期流量的公式为(e)，
式中φ′i为最佳权数。
步骤4中规则识别具体步骤为：
4.1提取数据包中的关键字段field；
4.2根据预定义的异常规则库判定数据包是否异常，若为正常数据包则转向步骤4.3，否则直接丢弃；
4.3数据包第一次转发至后端服务器时，建立握手连接，当服务器与客户端双方分别确认后，TCP三次握手建立成功，便进行正常的通信。
本发明技术方案带来的有益效果：
本发明通过统计预测可以大幅提升TCP流量的检查效率，避免重复、复杂的数据包匹配流程，同时也有效降低异常流量的误报率。
附图说明
图1为本发明完整的流程图。
术语定义
TCP：Transmission Control Protocol，传输控制协议；
DDoS：Distributed Denial of Service，分布式拒绝服务攻击；
自适应过滤算法：一种时间序列预测技术，是建立在时间序列的原始数据基础之上，通过对历史观察值进行某种加权平均来预测的算法。
具体实施方式
下面结合附图和具体实施方法对本发明做进一步详细的说明。
本发明完整的流程如图1所示，具体步骤为：
步骤1、根据历史流量特征确定权数个数p、初始权数φi及控制临界值；
步骤2、计算预测值，选取样本数据中前p个数据x1,x2，…，xp，根据公式(a)计算预测值；
步骤3、根据公式(b)计算预测误差；
步骤4、根据公式(c)调整最佳权数；
φ‘＝φ1+2kep+1xp-i+1 (c)
式中k为学习常数，其取值会直接影响到权数调整的速度，在一定程度上也会影响预测的效果，根据研究证明，k值可以根据时间序列中p个最大值来确定。不过，为了提高模型逼近最佳权数的速度可以取较大的k值，但取值必须满足k≤1/p；
步骤5、迭代执行步骤2，3，4，直至误差降到阈值MSE以内，则判定权数为一组最佳权数。
迭代调整的过程中，理想情况预测误差降为0时，权数调整结束。大多数情况下，预测误差无法降至零，可以根据均方误差作为衡量标准：
式中n和t为样本数据个数，分别为累加公式的上界和下界。t的取值是p,p+1…，n，为临时变量，这里计算的是p+1期到n+1期的均方误差。
步骤6、根据最佳权数预测下一期流量的公式为(e)，
式中φ′i为最佳权数。
步骤7、根据实际流量和预测流量计算偏差，判断偏差是否在控制临界值内，若不在则判定为可疑流量，同时进入下一步，否则返回步骤6继续预测下一期流量。
步骤8、提取数据包中的关键字段field；
步骤9、根据预定义的异常规则库判定数据包是否异常，若为正常数据包则转向步骤4.3，否则直接丢弃；
步骤10、数据包第一次转发至后端服务器时，建立握手连接，当服务器与客户端双方分别确认后，TCP三次握手建立成功，便进行正常的通信。

Claims (5)

1.一种基于自适应过滤模型识别TCP异常流量的方法，其特征在于，包括以下步骤：
(1)模型训练：根据历史流量数据建立自适应过滤模型，通过迭代训练计算出最佳权数；
(2)根据最佳权数预测下一期流量；
(3)根据实际流量和预测流量计算偏差，判断偏差是否在控制临界值内，若不在则判定为可疑流量，同时进入下一步，否则返回步骤(2)继续预测下一期流量；
(4)规则识别：进一步根据预定义的异常规则库，解析匹配TCP数据包，进而判断是否为异常流量。
2.根据权利要求1所述的一种基于自适应过滤模型识别TCP异常流量的方法，其特征在于，所述步骤(1)模型训练具体步骤为：
1.1根据历史流量特征确定权数个数p、初始权数φi及控制临界值；
1.2计算预测值，选取样本数据中前p个数据x1,x2，…，xp，根据公式(a)计算预测值；
1.3根据公式(b)计算预测误差；
1.4根据公式(c)调整最佳权数；
φ‘＝φ1+2kep+1xp-i+1 (c)
式中k为学习常数，取值必须满足k≤1/p；
1.5迭代执行步骤2，3，4，直至误差降到阈值MSE以内，则判定权数为一组最佳权数。
3.根据权利要求2所述的一种基于自适应过滤模型识别TCP异常流量的方法，其特征在于，所述阈值MSE为理想误差值，可以根据均方误差作为衡量标准：
式中n和t为样本数据个数，分别为累加公式的上界和下界。
4.根据权利要求2所述的一种基于自适应过滤模型识别TCP异常流量的方法，其特征在于，所述根据最佳权数预测下一期流量的公式为(e)，
式中φ′i为最佳权数。
5.根据权利要求1所述的一种基于自适应过滤模型识别TCP异常流量的方法，其特征在于，所述步骤(4)规则识别具体步骤为：
4.1提取数据包中的关键字段field；
4.2根据预定义的异常规则库判定数据包是否异常，若为正常数据包则转向步骤4.3，否则直接丢弃；
4.3数据包第一次转发至后端服务器时，建立握手连接，当服务器与客户端双方分别确认后，TCP三次握手建立成功，便进行正常的通信。
CN201811452579.XA 2018-11-30 2018-11-30 一种基于自适应过滤模型识别tcp异常流量的方法 Pending CN109639654A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811452579.XA CN109639654A (zh) 2018-11-30 2018-11-30 一种基于自适应过滤模型识别tcp异常流量的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811452579.XA CN109639654A (zh) 2018-11-30 2018-11-30 一种基于自适应过滤模型识别tcp异常流量的方法

Publications (1)

Publication Number Publication Date
CN109639654A true CN109639654A (zh) 2019-04-16

Family

ID=66070389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811452579.XA Pending CN109639654A (zh) 2018-11-30 2018-11-30 一种基于自适应过滤模型识别tcp异常流量的方法

Country Status (1)

Country Link
CN (1) CN109639654A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260140A (zh) * 2020-01-19 2020-06-09 武汉中科通达高新技术股份有限公司 一种预测地铁站内瞬间返程大客流的方法
CN115102781A (zh) * 2022-07-14 2022-09-23 中国电信股份有限公司 网络攻击处理方法、装置、电子设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572691A (zh) * 2008-04-30 2009-11-04 华为技术有限公司 一种入侵检测方法、系统和装置
CN105488091A (zh) * 2015-06-19 2016-04-13 哈尔滨安天科技股份有限公司 一种基于关键字匹配的网络数据检测方法及系统
CN106850551A (zh) * 2016-12-12 2017-06-13 长春理工大学 网络安全风险评估与自主防御系统
CN107302534A (zh) * 2017-06-21 2017-10-27 广东工业大学 一种基于大数据平台的DDoS网络攻击检测方法及装置
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备
US20180146926A1 (en) * 2015-06-02 2018-05-31 Sony Corporation Noise reduction processing circuit and method, and biological information processing device and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572691A (zh) * 2008-04-30 2009-11-04 华为技术有限公司 一种入侵检测方法、系统和装置
US20180146926A1 (en) * 2015-06-02 2018-05-31 Sony Corporation Noise reduction processing circuit and method, and biological information processing device and method
CN105488091A (zh) * 2015-06-19 2016-04-13 哈尔滨安天科技股份有限公司 一种基于关键字匹配的网络数据检测方法及系统
CN106850551A (zh) * 2016-12-12 2017-06-13 长春理工大学 网络安全风险评估与自主防御系统
CN107302534A (zh) * 2017-06-21 2017-10-27 广东工业大学 一种基于大数据平台的DDoS网络攻击检测方法及装置
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姚奇富，马华林，张国清: ""一个网络管理软件中基于自适应的流量预测"", 《计算机测量与控制》 *
魏艳华，王丙参，郝淑双: "《统计预测与决策》", 31 May 2014, 西南交通大学出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260140A (zh) * 2020-01-19 2020-06-09 武汉中科通达高新技术股份有限公司 一种预测地铁站内瞬间返程大客流的方法
CN115102781A (zh) * 2022-07-14 2022-09-23 中国电信股份有限公司 网络攻击处理方法、装置、电子设备和介质
CN115102781B (zh) * 2022-07-14 2024-01-09 中国电信股份有限公司 网络攻击处理方法、装置、电子设备和介质

Similar Documents

Publication Publication Date Title
Xie et al. Monitoring the application-layer DDoS attacks for popular websites
Tang et al. MF-Adaboost: LDoS attack detection based on multi-features and improved Adaboost
CN109302378B (zh) 一种SDN网络DDoS攻击检测方法
CN106657107B (zh) 一种SDN中基于信任值的自适应启动的ddos防御方法和系统
CN107959690A (zh) 基于软件定义网络的DDoS攻击跨层协同防御方法
CN103916387B (zh) 一种防护ddos攻击的方法及系统
CN101378394A (zh) 分布式拒绝服务检测防御方法及网络设备
CN109617868B (zh) 一种ddos攻击的检测方法、装置及检测服务器
CN110493260A (zh) 一种网络洪范攻击行为检测方法
Shang et al. Industrial communication intrusion detection algorithm based on improved one-class SVM
CN109936517A (zh) 拟态防御中的自适应动态流量分配方法
CN109617931A (zh) 一种SDN控制器的DDoS攻击防御方法及防御系统
CN108900513B (zh) 一种基于bp神经网络的ddos效果评估方法
CN110011983B (zh) 一种基于流表特征的拒绝服务攻击检测方法
KR100615080B1 (ko) 컴퓨터 네트워크상에서 악성 봇과 웜에 대한 규칙기반탐지패턴을 자동 생성하기 위한 방법
CN111200600B (zh) 一种物联网设备流量序列指纹特征提取方法
CN109639654A (zh) 一种基于自适应过滤模型识别tcp异常流量的方法
CN104734916A (zh) 一种基于tcp协议的高效多级异常流量检测方法
CN108574668A (zh) 一种基于机器学习的DDoS攻击流量峰值预测方法
CN112788007A (zh) 基于卷积神经网络的DDoS攻击检测方法
CN107370752A (zh) 一种高效的远控木马检测方法
Zhang et al. An adaptive KPCA approach for detecting LDoS attack
CN100352208C (zh) 一种大型网站数据流的检测与防御方法
CN105187437A (zh) 一种sdn网络拒绝服务攻击的集中式检测系统
CN105245362A (zh) 一种sdn环境中重要节点信息采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416