CN111865951A - 一种基于数据包特征提取的网络数据流异常检测方法 - Google Patents

一种基于数据包特征提取的网络数据流异常检测方法 Download PDF

Info

Publication number
CN111865951A
CN111865951A CN202010659440.3A CN202010659440A CN111865951A CN 111865951 A CN111865951 A CN 111865951A CN 202010659440 A CN202010659440 A CN 202010659440A CN 111865951 A CN111865951 A CN 111865951A
Authority
CN
China
Prior art keywords
network
data
packet
data packet
network data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010659440.3A
Other languages
English (en)
Inventor
石小川
黄建福
陈瑜靓
张晶
刘家祥
刘琦
赵昆杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Qidian Space Time Digital Technology Co ltd
Original Assignee
Fujian Qidian Space Time Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Qidian Space Time Digital Technology Co ltd filed Critical Fujian Qidian Space Time Digital Technology Co ltd
Priority to CN202010659440.3A priority Critical patent/CN111865951A/zh
Publication of CN111865951A publication Critical patent/CN111865951A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种基于数据包特征提取的网络数据流异常检测方法，包括以下具体步骤：S1、实时采集数据包，并将得到的数据包分割归类，得到样本数据库；S2、构建防火墙上层策略；S3、监测网络线路上的网络流量的网络数据包特征属性，并获取网络数据流的基本信息；S4、将得到的网络数据和基本信息分别与样本数据库和防火墙上层策略进行处理；S5、若得到的数据段均包含在样本数据库中或防火墙上层策略中的索引信息和基本信息相匹配，则根据网络数据包特征属性，对所属类型的网络数据包进行发送；所属网络数据流无异常；反之则对网络数据包进行清除处理；所属网络数据流存在异常。本发明大大提高了对网络数据流的监测效率以及监测的精准度。

Description

一种基于数据包特征提取的网络数据流异常检测方法
技术领域
本发明涉及网络安全技术领域，尤其涉及一种基于数据包特征提取的网络数据流异常检测方法。
背景技术
网络安全是指网络系统的硬件、软件及其系统中的数据受到保护，不因偶然的或者恶意的原因而遭受到破坏、更改、泄露，系统连续可靠正常地运行，网络服务不中断；每年因网络安全造成的损失数以万计，因此在当今网络环境日益恶化的环境下，传统的网络安全“老三样”，防火墙、入侵检测以及防病毒，已经日益无法满足用户的便捷管理要求，现有的网络安全技术中，通常通过对数据包进行解析，提取其中的特征码进行比对来判断数据包是否为网络攻击的数据包，以判断网络数据流是否存在异常；为此，本申请中提出一种基于数据包特征提取的网络数据流异常检测方法。
发明内容
(一)发明目的
为解决背景技术中存在的技术问题，本发明提出一种基于数据包特征提取的网络数据流异常检测方法，根据分析结果判断所监测的网络数据流是否存在异常，大大提高对网络数据流的监测效率以及监测的精准度。
(二)技术方案
为解决上述问题，本发明提供了一种基于数据包特征提取的网络数据流异常检测方法，包括以下具体步骤：
S1、实时采集数据包，并将得到的数据包分割成多个固定长度的数据段，将具有相同内容的数据段归为一类，以对所述数据段进行归类，得到样本数据库；
S2、构建防火墙上层策略；
S3、监测网络线路上的网络流量的网络数据包特征属性，并获取网络数据流的基本信息；
S4、将S3中得到的网络数据包按照S1中的分割方式，得到多个数据段；判断得到的数据段是否全部包含在样本数据库中；
将S3中得到的基本信息与防火墙上层策略中的索引信息进行匹配，根据与防火墙上层策略的匹配结果，对网络数据流进行处理；
S5、若S4中得到的数据段均包含在样本数据库中或防火墙上层策略中的索引信息和S3中得到的基本信息相匹配，则根据网络数据包特征属性，对所属类型的网络数据包进行发送；所属网络数据流无异常；
若S4中得到的数据段至少有一个数据段部包含在样本数据库中或防火墙上层策略中的索引信息和S3中得到的基本信息不匹配，则对网络数据包进行清除处理；所属网络数据流存在异常。
优选的，S3中得到的基本信息与防火墙上层策略中的索引信息进行匹配包括：对网络数据流依据开放系统互联网络协议栈模型中的2-4层进行数据解码，获取基本信息；判断上述基本信息与防火墙上层策略的索引信息是否满足预设的匹配条件。
优选的，基本信息包括源互联网协议IP、源端口、目的IP、目的端口信息和/或网络协议。
优选的，防火墙上层策略为入侵检测策略、URL过滤策略、内容安全策略或防病毒策略中的一种或多种。
优选的，S1中对数据包分割成多个固定长度的数据段后通过哈希函数将归为一类的内容相同的多个数据段映射到同一个哈希值上，将哈希值作为与归为一类的内容相同的数据段及其偏移值对应的数据段类型值，且所述数据段类型值与所述接收的数据包对应，过滤对应的数据段的数量小于或等于数据段统计阈值的数据段类型值。
优选的，网络数据包特征属性信息包括在各个时间窗口内的网络数据包数量信息、网络数据包尺寸数量分布信息以及数据包发送间隔分布信息。
本发明的上述技术方案具有如下有益的技术效果：
本发明中，通过实时采集的数据包获得样本数据库，并构建防火墙上层策略以对网络数据流进行异常监测；使用时，监测网络线路上的网络流量的网络数据包特征属性，并获取网络数据流的基本信息，并对得到的网络数据包和基本信息进行处理，并通过得到的样本数据库和防火墙上层策略分别对上述网络数据包和基本信息进行分析，根据分析结果判断所监测的网络数据流是否存在异常，大大提高对网络数据流的监测效率以及监测的精准度。
附图说明
图1为本发明提出的一种基于数据包特征提取的网络数据流异常检测方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1所示，本发明提出的一种基于数据包特征提取的网络数据流异常检测方法，包括以下具体步骤：
S1、实时采集数据包，并将得到的数据包分割成多个固定长度的数据段，将具有相同内容的数据段归为一类，以对所述数据段进行归类，得到样本数据库；其中，固定长度选用但不限于16个字节，则长度为4k的数据包被分割成256个数据段；每个数据包上都会携带网络协议信息(源互联网协议、源端口、目的IP以及目的端口信息)，通过网络协议信息的匹配可以唯一表示出一条会话，即客户与服务器的连接；
样本数据库根据实时采集的数据包进行更新；
S2、构建防火墙上层策略；
S3、监测网络线路上的网络流量的网络数据包特征属性，并获取网络数据流的基本信息；
S4、将S3中得到的网络数据包按照S1中的分割方式，得到多个数据段；判断得到的数据段是否全部包含在样本数据库中；
将S3中得到的基本信息与防火墙上层策略中的索引信息进行匹配，根据与防火墙上层策略的匹配结果，对网络数据流进行处理；
S5、若S4中得到的数据段均包含在样本数据库中或防火墙上层策略中的索引信息和S3中得到的基本信息相匹配，则根据网络数据包特征属性，对所属类型的网络数据包进行发送；所属网络数据流无异常；
若S4中得到的数据段至少有一个数据段部包含在样本数据库中或防火墙上层策略中的索引信息和S3中得到的基本信息不匹配，则对网络数据包进行清除处理；所属网络数据流存在异常。
本发明中，通过实时采集的数据包获得样本数据库，并构建防火墙上层策略以对网络数据流进行异常监测；使用时，监测网络线路上的网络流量的网络数据包特征属性，并获取网络数据流的基本信息，并对得到的网络数据包和基本信息进行处理，并通过得到的样本数据库和防火墙上层策略分别对上述网络数据包和基本信息进行分析，根据分析结果判断所监测的网络数据流是否存在异常，大大提高对网络数据流的监测效率以及监测的精准度。
在一个可选的实施例中，S3中得到的基本信息与防火墙上层策略中的索引信息进行匹配包括：对网络数据流依据开放系统互联网络协议栈模型中的2-4层进行数据解码，获取基本信息；判断上述基本信息与防火墙上层策略的索引信息是否满足预设的匹配条件。
在一个可选的实施例中，基本信息包括源互联网协议IP、源端口、目的IP、目的端口信息和/或网络协议。
在一个可选的实施例中，防火墙上层策略为入侵检测策略、URL过滤策略、内容安全策略或防病毒策略中的一种或多种。
在一个可选的实施例中，S1中对数据包分割成多个固定长度的数据段后通过哈希函数将归为一类的内容相同的多个数据段映射到同一个哈希值上，将哈希值作为与归为一类的内容相同的数据段及其偏移值对应的数据段类型值，且所述数据段类型值与所述接收的数据包对应，过滤对应的数据段的数量小于或等于数据段统计阈值的数据段类型值；
哈希函数可以是CRC、SHA等通用哈希函数，该函数可将内容相似的多个数据段映射到同一个哈希值上。将该哈希值作为数据段类型值，该数据段类型值则与该多个相似的数据段的偏移值对应。
在一个可选的实施例中，网络数据包特征属性信息包括在各个时间窗口内的网络数据包数量信息、网络数据包尺寸数量分布信息以及数据包发送间隔分布信息。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (6)

1.一种基于数据包特征提取的网络数据流异常检测方法，其特征在于，包括以下具体步骤：
S1、实时采集数据包，并将得到的数据包分割成多个固定长度的数据段，将具有相同内容的数据段归为一类，以对所述数据段进行归类，得到样本数据库；
S2、构建防火墙上层策略；
S3、监测网络线路上的网络流量的网络数据包特征属性，并获取网络数据流的基本信息；
S4、将S3中得到的网络数据包按照S1中的分割方式，得到多个数据段；判断得到的数据段是否全部包含在样本数据库中；
将S3中得到的基本信息与防火墙上层策略中的索引信息进行匹配，根据与防火墙上层策略的匹配结果，对网络数据流进行处理；
S5、若S4中得到的数据段均包含在样本数据库中或防火墙上层策略中的索引信息和S3中得到的基本信息相匹配，则根据网络数据包特征属性，对所属类型的网络数据包进行发送；所属网络数据流无异常；
若S4中得到的数据段至少有一个数据段部包含在样本数据库中或防火墙上层策略中的索引信息和S3中得到的基本信息不匹配，则对网络数据包进行清除处理；所属网络数据流存在异常。
2.根据权利要求1所述的一种基于数据包特征提取的网络数据流异常检测方法，其特征在于，S3中得到的基本信息与防火墙上层策略中的索引信息进行匹配包括：对网络数据流依据开放系统互联网络协议栈模型中的2-4层进行数据解码，获取基本信息；判断上述基本信息与防火墙上层策略的索引信息是否满足预设的匹配条件。
3.根据权利要求1所述的一种基于数据包特征提取的网络数据流异常检测方法，其特征在于，基本信息包括源互联网协议IP、源端口、目的IP、目的端口信息和/或网络协议。
4.根据权利要求1所述的一种基于数据包特征提取的网络数据流异常检测方法，其特征在于，防火墙上层策略为入侵检测策略、URL过滤策略、内容安全策略或防病毒策略中的一种或多种。
5.根据权利要求1所述的一种基于数据包特征提取的网络数据流异常检测方法，其特征在于，S1中对数据包分割成多个固定长度的数据段后通过哈希函数将归为一类的内容相同的多个数据段映射到同一个哈希值上，将哈希值作为与归为一类的内容相同的数据段及其偏移值对应的数据段类型值，且所述数据段类型值与所述接收的数据包对应，过滤对应的数据段的数量小于或等于数据段统计阈值的数据段类型值。
6.根据权利要求1所述的一种基于数据包特征提取的网络数据流异常检测方法，其特征在于，网络数据包特征属性信息包括在各个时间窗口内的网络数据包数量信息、网络数据包尺寸数量分布信息以及数据包发送间隔分布信息。
CN202010659440.3A 2020-07-09 2020-07-09 一种基于数据包特征提取的网络数据流异常检测方法 Pending CN111865951A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010659440.3A CN111865951A (zh) 2020-07-09 2020-07-09 一种基于数据包特征提取的网络数据流异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010659440.3A CN111865951A (zh) 2020-07-09 2020-07-09 一种基于数据包特征提取的网络数据流异常检测方法

Publications (1)

Publication Number Publication Date
CN111865951A true CN111865951A (zh) 2020-10-30

Family

ID=73153184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010659440.3A Pending CN111865951A (zh) 2020-07-09 2020-07-09 一种基于数据包特征提取的网络数据流异常检测方法

Country Status (1)

Country Link
CN (1) CN111865951A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112748987A (zh) * 2021-01-19 2021-05-04 北京智仁智信安全技术有限公司 一种基于虚拟主机的行为安全处理方法及设备
CN114024769A (zh) * 2021-12-07 2022-02-08 中国建设银行股份有限公司 一种网络流量安全控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102891855A (zh) * 2012-10-16 2013-01-23 北京神州绿盟信息安全科技股份有限公司 网络数据流安全处理方法及设备
CN104935520A (zh) * 2015-06-12 2015-09-23 国家计算机网络与信息安全管理中心 一种基于数据包特征的网络流量生成方法
CN105100023A (zh) * 2014-05-21 2015-11-25 腾讯科技（深圳）有限公司 数据包特征提取方法及装置
CN108023884A (zh) * 2017-12-05 2018-05-11 北京军秀咨询有限公司 一种网络与信息安全的加密方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102891855A (zh) * 2012-10-16 2013-01-23 北京神州绿盟信息安全科技股份有限公司 网络数据流安全处理方法及设备
CN105100023A (zh) * 2014-05-21 2015-11-25 腾讯科技（深圳）有限公司 数据包特征提取方法及装置
CN104935520A (zh) * 2015-06-12 2015-09-23 国家计算机网络与信息安全管理中心 一种基于数据包特征的网络流量生成方法
CN108023884A (zh) * 2017-12-05 2018-05-11 北京军秀咨询有限公司 一种网络与信息安全的加密方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112748987A (zh) * 2021-01-19 2021-05-04 北京智仁智信安全技术有限公司 一种基于虚拟主机的行为安全处理方法及设备
CN112748987B (zh) * 2021-01-19 2021-08-06 北京智仁智信安全技术有限公司 一种基于虚拟主机的行为安全处理方法及设备
CN114024769A (zh) * 2021-12-07 2022-02-08 中国建设银行股份有限公司 一种网络流量安全控制系统

Similar Documents

Publication Publication Date Title
CN104937886B (zh) 日志分析装置、信息处理方法
US9848004B2 (en) Methods and systems for internet protocol (IP) packet header collection and storage
JP6703613B2 (ja) データストリームにおける異常検出
US7903566B2 (en) Methods and systems for anomaly detection using internet protocol (IP) traffic conversation data
US8726382B2 (en) Methods and systems for automated detection and tracking of network attacks
US8205259B2 (en) Adaptive behavioral intrusion detection systems and methods
US7995496B2 (en) Methods and systems for internet protocol (IP) traffic conversation detection and storage
US20140165207A1 (en) Method for detecting anomaly action within a computer network
US10104108B2 (en) Log analysis system
US8762515B2 (en) Methods and systems for collection, tracking, and display of near real time multicast data
US20030084318A1 (en) System and method of graphically correlating data for an intrusion protection system
JP2018533897A5 (zh)
US20060198313A1 (en) Method and device for detecting and blocking unauthorized access
US20030083847A1 (en) User interface for presenting data for an intrusion protection system
EP3242240B1 (en) Malicious communication pattern extraction device, malicious communication pattern extraction system, malicious communication pattern extraction method and malicious communication pattern extraction program
EP3223495A1 (en) Detecting an anomalous activity within a computer network
CN115001877B (zh) 一种基于大数据的信息安全运维管理系统及方法
US20030084340A1 (en) System and method of graphically displaying data for an intrusion protection system
JP2006148686A (ja) 通信監視システム
CN111865951A (zh) 一种基于数据包特征提取的网络数据流异常检测方法
US20240146753A1 (en) Automated identification of false positives in dns tunneling detectors
KR100832088B1 (ko) 시그니처 그래프를 이용한 하이브리드 기반 침입탐지시스템
US20210306351A1 (en) Infection spread attack detection device, attack origin specification method, and program
KR20070077517A (ko) 프로파일 기반 웹 애플리케이션 침입탐지시스템 및 그 방법
US20240163191A1 (en) Network scanner detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030