CN103078760A - 一种在线式网络异常流量诊断方法 - Google Patents

一种在线式网络异常流量诊断方法 Download PDF

Info

Publication number
CN103078760A
CN103078760A CN 200910214524 CN200910214524A CN103078760A CN 103078760 A CN103078760 A CN 103078760A CN 200910214524 CN200910214524 CN 200910214524 CN 200910214524 A CN200910214524 A CN 200910214524A CN 103078760 A CN103078760 A CN 103078760A
Authority
CN
China
Prior art keywords
flow
port
network
size
analyzed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 200910214524
Other languages
English (en)
Inventor
柯宗贵
柯宗庆
张越
陈文浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bluedon Information Security Technologies Co Ltd
Original Assignee
Bluedon Information Security Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bluedon Information Security Technologies Co Ltd filed Critical Bluedon Information Security Technologies Co Ltd
Priority to CN 200910214524 priority Critical patent/CN103078760A/zh
Publication of CN103078760A publication Critical patent/CN103078760A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明为一种在线式网络异常流量诊断方法，本发明针对传统的异常监控方法的参数基准范围难以确定，缺乏灵活性，而且误报率也相当高，调用系统也随之增多，导致机器性能下降的缺陷，提出了一种在线式网络异常流量诊断方法，以网口零拷贝方式在线抓取网络上的流量数据包，分析并格式化为统一格式，以曲线的形式表示，再与预先构建的轮廓线比较，监测异常状况。

Description

一种在线式网络异常流量诊断方法
技术领域：
本发明涉及网络异常流量检测以及入侵检测技术领域的一种在线式网络异常诊断方法。 
背景技术：
随着网络技术的发展，网络上的网络攻击、蠕虫病毒、恶意下载和对网络资源的不当使用等各种问题也随之而来，造成网络性能下降、网络拥塞甚至网络中断和网络设备失效的严重问题。网络攻击、蠕虫病毒、恶意下载和对网络资源的不当使用都会出现网络流量异常，因此，对网络流量进行监控和管理，发现网络中的异常情况，已经成为网络安全管理中需要解决的首要问题。 
目前的网络异常诊断方法有很多种，传统的网络异常流量检测有2个不足：第一，参数基准范围难以确定，缺乏灵活性和误报率高；第二，由于系统日益复杂化合网络数据流量急剧增加，抓取网络上的流量包增多，调用系统也随之增多，导致机器性能下降。 
发明内容：
为了克服上述缺陷，本发明的目的在于，提供一种在线式网络异常流量诊断方法。以网口零拷贝方式在线抓取网络上的流量数据包，分析并格式化为统一格式，以曲线的形式表示，再与预先构建的轮廓线比较，监测异常状况。 
本发明通过以下步骤实现： 
步骤一：以网口零拷贝方式在线抓取网络上的流量数据包； 
步骤二：对抓取的数据包进行分析、学习，构建正常状态的流量轮廓线； 
步骤三：继续实时抓取网络上的流量数据包进行分析，格式化为统一格式，以曲线形式表示； 
步骤四：与正常状态的流量轮廓线进行比较，如果发现异常，则报警并将异常种类记录到异常状况数据库，执行步骤六，否则执行步骤五； 
步骤五：通过均值算法重新运算，学习这个正常周期曲线，生成的新参照轮廓线，并返回步骤三； 
步骤六：根据发现的异常的状况，分别采取限制流量、限制连接数、限制访问等措施。 
所述的步骤一中，采用DMA技术，在外部设备与存储器之间直接抓取数据包，减少拷贝次数与系统调用。 
所述的步骤二中，将分析抓取的数据包，通过均值运算，经过一段时间的自学习，针对不同的监测目标(包括预设端口，总连接数，新建连接数，出入口流量大小，出入口流量包数)生成不同的参照轮廓线。 
所述的步骤三中，每个数据包将会被分析为一个记录R，格式如R(T，Src.IP，Src.Port，Dst.IP，Dst.Port，Protocol，Size，FLAG)其中，T表示当前时间，Src.IP和Src.Port表示源IP和端口，Dst.IP和Dst.IP表示目的IP和端口，Protocol表示协议，Size表示包大小，FLAG表示连接的状态； 
将元记录以统计连接、端口、流量的为目的被格式化为3种不同的记录Rc、Rp、Rs，格式如： 
Rc(T，Totle_Conn，New_Conn)其中T表示当前时间，Totle Conn表示总连接数，New_Conn表示新建的连接数； 
Rp(T，Port1，[Port2，]...)其中T表示当前时间，Port1表示要监测的端口，省略号表示可以自定义要监测的端口； 
Rs(T，Size，Pack，FLAG)其中T表示当前时间，Size表示流量的大小，Pack表示包的数量，FLAG表示连接状态； 
以上3个记录集分别代表了T时段关于连接、端口、流量(大小/包数量)的指标统计，实际曲线由这些记录确定。 
所述的步骤四中，通过实际曲线(包括实时连接曲线、实时端口曲线、实时流量曲线(大小/包数量))与预定义轮廓线的比较，若实际曲线的点值超越轮廓线所定义的范围，则将其定义为异常。 
所述的步骤五中，若一个周期的实际曲线的点值都在定义的正常范围内，则系统会考虑将这一实际曲线的各个点值与当前参照轮廓线进行再运算，以运算后的轮廓线值作为继续监测的标准，实际曲线的点值生成精确度为1min。 
附图说明：
附图为本发明专利实施步骤的流程图。 
具体实施方式：
由附图所示，本发明的实施步骤是： 
步骤一：采用了DMA技术，以网口零拷贝方式在线在外部设备 与存储器之间直接抓取流量数据包，减少拷贝次数与系统调用； 
步骤二：对抓取的数据包进行分析、学习，构建正常状态的流量轮廓线；将分析抓取的数据包，通过均值运算，经过一段时间的自学习，针对不同的监测目标(包括预设端口，总连接数，新建连接数，出入口流量大小，出入口流量包数)生成不同的参照轮廓线； 
步骤三：继续实时抓取网络上的流量数据包进行分析，每个数据包将会被分析为一个记录R，格式如R(T，Src.IP，Src.Port，Dst.IP，Dst.Port，Protocol，Size，FLAG)其中，T表示当前时间，Src.IP和Src.Port表示源IP和端口，Dst.IP和Dst.IP表示目的IP和端口，Protocol表示协议，Size表示包大小，FLAG表示连接的状态； 
将元记录以统计连接、端口、流量的为目的被格式化为3种不同的记录Rc、Rp、Rs，格式如： 
Rc(T，Totle_Conn，New_Conn)其中T表示当前时间，Totle_Conn表示总连接数，New_Conn表示新建的连接数； 
Rp(T，Port1，[Port2，]...)其中T表示当前时间，Port1表示要监测的端口，省略号表示可以自定义要监测的端口； 
Rs(T，Size，Pack，FLAG)其中T表示当前时间，Size表示流量的大小，Pack表示包的数量，FLAG表示连接状态； 
以上3个记录集分别代表了T时段关于连接、端口、流量(大小/包数量)的指标统计，实际曲线由这些记录确定； 
步骤四：与正常状态的流量轮廓线进行比较，若实际曲线的点值超越轮廓线所定义的范围，则将其定义为异常，报警并将异常种类记 录到异常状况数据库，然后执行步骤六，否则执行步骤五； 
步骤五：若一个周期的实际曲线的点值都在定义的正常范围内，则通过均值算法重新运算，学习这个正常周期曲线，生成的新参照轮廓线，并返回步骤三。 
步骤六：根据发现的异常的状况，分别采取限制流量、限制连接数、限制访问等措施。 

Claims (3)

1.一种在线式网络异流量常诊断方法，其特征在于：所述的方法由以下步骤实现：
步骤一：以网口零拷贝方式在线抓取网络上的流量数据包；
步骤二：对抓取的数据包进行分析、学习，构建正常状态的流量轮廓线；
步骤三：继续实时抓取网络上的流量数据包进行分析，格式化为统一格式，以曲线形式表示；
步骤四：与正常状态的流量轮廓线进行比较，如果发现异常，则报警并将异常种类记录到异常状况数据库，执行步骤六，否则执行步骤五；
步骤五：通过均值算法重新运算，学习这个正常周期曲线，生成的新参照轮廓线，并返回步骤三；
步骤六：根据发现的异常的状况，分别采取限制流量、限制连接数、限制访问等措施。
2.根据权利要求1所述的一种在线式网络异流量常诊断方法，其特征在于：所述的步骤一采用DMA技术，在外部设备与存储器之间直接抓取数据包。
3.根据权利要求1所述的一种在线式网络异流量常诊断方法，其特征在于：所述步骤三所描述的流量数据包进行分析，即是将每个数据包将会被分析为一个记录R(T，Src.IP，Src.Port，Dst.IP，Dst.Port，Protocol，Size，FLAG)；
将元记录以统计连接、端口、流量的为目的被格式化为3种不同的记录Rc、Rp、Rs；
Rc(T，Totle_Conn，New_Conn)其中T表示当前时间，Totle_Conn表示总连接数，New_Conn表示新建的连接数；
Rp(T，Port1，[Port2，]...)其中T表示当前时间，Port1表示要监测的端口，省略号表示可以自定义要监测的端口；
Rs(T，Size，Pack，FLAG)其中T表示当前时间，Size表示流量的大小，Pack表示包的数量，FLAG表示连接状态；
以上3个记录集分别代表了T时段关于连接、端口、流量(大小/包数量)的指标统计，实际曲线由这些记录确定。
CN 200910214524 2009-12-31 2009-12-31 一种在线式网络异常流量诊断方法 Pending CN103078760A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200910214524 CN103078760A (zh) 2009-12-31 2009-12-31 一种在线式网络异常流量诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200910214524 CN103078760A (zh) 2009-12-31 2009-12-31 一种在线式网络异常流量诊断方法

Publications (1)

Publication Number Publication Date
CN103078760A true CN103078760A (zh) 2013-05-01

Family

ID=48155170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200910214524 Pending CN103078760A (zh) 2009-12-31 2009-12-31 一种在线式网络异常流量诊断方法

Country Status (1)

Country Link
CN (1) CN103078760A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105357079A (zh) * 2015-11-30 2016-02-24 睿峰网云（北京）科技股份有限公司 一种异常流量的识别方法及装置
CN106953766A (zh) * 2017-03-31 2017-07-14 北京奇艺世纪科技有限公司 一种报警方法及装置
CN107404471A (zh) * 2017-04-05 2017-11-28 青海民族大学 一种基于admm算法网络流量异常检测方法
CN107508815A (zh) * 2017-08-30 2017-12-22 杭州安恒信息技术有限公司 基于网站流量分析预警方法及装置
CN108111463A (zh) * 2016-11-24 2018-06-01 蓝盾信息安全技术有限公司 基于平均值和标准差的多维度基线自学习和异常行为分析
CN109885951A (zh) * 2019-02-28 2019-06-14 中科云创(厦门)科技有限公司 设备故障诊断方法及装置
WO2020010567A1 (zh) * 2018-07-12 2020-01-16 深圳齐心集团股份有限公司 一种基于大数据的信息安全管理方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105357079A (zh) * 2015-11-30 2016-02-24 睿峰网云（北京）科技股份有限公司 一种异常流量的识别方法及装置
CN108111463A (zh) * 2016-11-24 2018-06-01 蓝盾信息安全技术有限公司 基于平均值和标准差的多维度基线自学习和异常行为分析
CN106953766A (zh) * 2017-03-31 2017-07-14 北京奇艺世纪科技有限公司 一种报警方法及装置
CN107404471A (zh) * 2017-04-05 2017-11-28 青海民族大学 一种基于admm算法网络流量异常检测方法
CN107508815A (zh) * 2017-08-30 2017-12-22 杭州安恒信息技术有限公司 基于网站流量分析预警方法及装置
CN107508815B (zh) * 2017-08-30 2020-09-11 杭州安恒信息技术股份有限公司 基于网站流量分析预警方法及装置
WO2020010567A1 (zh) * 2018-07-12 2020-01-16 深圳齐心集团股份有限公司 一种基于大数据的信息安全管理方法
CN109885951A (zh) * 2019-02-28 2019-06-14 中科云创(厦门)科技有限公司 设备故障诊断方法及装置

Similar Documents

Publication Publication Date Title
CN103078760A (zh) 一种在线式网络异常流量诊断方法
CN103532776B (zh) 业务流量检测方法及系统
CN103532940B (zh) 网络安全检测方法及装置
CN101980506B (zh) 一种基于流量特征分析的分布式入侵检测方法
CN100531073C (zh) 一种基于状态检测的协议异常检测方法及系统
CN105429977A (zh) 基于信息熵度量的深度包检测设备异常流量监控方法
CN106533832B (zh) 一种基于分布式部署的网络流量探测系统
US7903657B2 (en) Method for classifying applications and detecting network abnormality by statistical information of packets and apparatus therefor
CN108989136A (zh) 业务端到端性能监控方法及装置
WO2019006008A1 (en) APPARATUS AND METHOD FOR MONITORING PERFORMANCE NETWORK OF VIRTUALIZED RESOURCES
CN113810362A (zh) 一种安全风险检测处置系统及其方法
CN101902365B (zh) 一种广域网p2p流量监控方法及系统
CN103179039A (zh) 一种有效过滤正常网络数据包的方法
CN113242208B (zh) 基于网络流的网络态势分析系统
CN106452941A (zh) 网络异常的检测方法及装置
WO2019006018A1 (en) APPARATUS AND METHOD FOR ESTABLISHING BASIC NETWORK BEHAVIOR AND GENERATING CORRESPONDING REPORTS
CN113271303A (zh) 一种基于行为相似性分析的僵尸网络检测方法及系统
US9509581B2 (en) Methods for monitoring data traffic in a gateway device
Gad et al. Employing the CEP paradigm for network analysis and surveillance
CN115190191A (zh) 基于协议解析的电网工业控制系统及控制方法
CN102118272A (zh) 一种网络边界异常监控方法
Yang et al. Feature extraction for novelty detection in network traffic
CN105991623A (zh) 一种业务互联关系审计方法和系统
CN106209456A (zh) 一种内核态下网络故障检测方法及装置
CN106656647A (zh) 一种实时流量监控方法及装置

Legal Events

Date Code Title Description
DD01 Delivery of document by public notice

Addressee: Wu Bingtang

Document name: Notification to Make Rectification

DD01 Delivery of document by public notice

Addressee: Bluedon Information Safety Technology Co., Ltd.

Document name: Notification that Application Deemed to be Withdrawn

DD01 Delivery of document by public notice

Addressee: Wu Bingtang

Document name: Notification of Passing Examination on Formalities

C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130501