CN103490944A - 一种基于bp神经网络的混合式p2p流量监测系统 - Google Patents

一种基于bp神经网络的混合式p2p流量监测系统 Download PDF

Info

Publication number
CN103490944A
CN103490944A CN201310330668.8A CN201310330668A CN103490944A CN 103490944 A CN103490944 A CN 103490944A CN 201310330668 A CN201310330668 A CN 201310330668A CN 103490944 A CN103490944 A CN 103490944A
Authority
CN
China
Prior art keywords
module
data
flow
matching
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310330668.8A
Other languages
English (en)
Inventor
罗笑南
冯玉财
薛凯军
肖剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Institute of Dongguan of Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Institute of Dongguan of Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University, Institute of Dongguan of Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201310330668.8A priority Critical patent/CN103490944A/zh
Publication of CN103490944A publication Critical patent/CN103490944A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于BP神经网络的混合式P2P流量监测系统,包括:BP网络模型训练模块、分类模块、匹配模块、分析模块、更新模块,用于对BP训练器进行不定期的调整,以期达到设计要求,其接收分析模块中基于流量统计特征和深层数据包检测技术相结合的方法能发现未知的P2P流量数据,以提高训练器的效果,使得训练器产生的分类模型更适合分类器使用;管理模块,用于作为整个管理平台的中枢,由它来协调匹配模块、分析模块、更新模块的关系,组织几个模块的正确运行,并生成流量日志。实施本发明,能有效地提高精确度,降低取伪率和弃真率,适应在当今P2P技术迅速发展的情况下对其检测的要求。

Description

一种基于BP神经网络的混合式P2P流量监测系统
技术领域
本发明涉及计算机领域,具体涉及一种基于BP神经网络的混合式P2P流量监测系统。 
背景技术
网络监控系统,目前的应用日益广泛,是网络安全防护的重要手段。网络监控系统通过对网络状况的实时监控,达到对于特定安全事件的发现、网络资源的调配、网络流最的管理等多方面的安全日的,是实现IT管理和控制的有效方法。 
随着网络的发展,目前的网络环境当中出现了越来越多的P2P类应用.P2P网络结构及应用能够提高网络资源的利用率,提高资源共享率,是未来网络发展的大趋势。但是由于缺乏统一的标准和使用规范,P2P应用的出现也带来很多的弊端,这主要体现在对于网络资源的滥用上,比如基于P2P即架构的文件共享、视频播放等等应用,占用带宽过大,严重影响其他正常网络业务的使用等。 
随着P2P类的应用所带来的弊端日益严重,很多的网络安全产品考虑不同的措施,希望对于P2P应用进行有效管理。目前对于P2P流量的识别,采用诸如角色识别技术及管道流量技术等,只适用于微观网络当中。在广域网环境下,由海量的流量日志带来的存储、处理等问题,使得传统的识别技术变得很难应用甚至已经不可行。 
网络规模的快速发展,需要提高宏观网络对各种安全事件的及时检测能力、应急反应能力以及总体控制能力,需要进行广域网环境下的网络监控。有鉴于此,需要提供种针对广域网P2P流量的监控技术,以对广域网环境当中的P2P流量进行有效地识别和统计,提高网络监控系统对于网络状况的准确把握,保证网络资源的最佳利用。 
在P2P发展的早期,众多P2P数据流都采用固定端口的形式,通过检查数据包头中的端口,与已知的P2P端口对照便可以识别出P2P流量,而且进 一步识别出是哪种P2P应用程序。 
基于关键字匹配的识别技术(DPI),通过分析流数据包总结出其中位置或者内容固定的字符串,即关键字,以这些关键字作为识别依据来进行P2P流量的识别。 
随着P2P流量采用动态端口形式,基于端口的P2P流量识别技术便不再适用。各种P2P应用程序的关键字随着软件的升级可能会发生改变,因此关键字的获取不是一劳永逸而必须时刻注意更新;关键字的获取是通过分析数据包内容获得,这关系到数据隐私的问题;关键字的总结需要采集大量数据包,在主干网上对数据包截取或者拷贝,特别是当主干网网速达到10Gbps时,采集效率和对数据包存储容量往往不容乐观。此外,现在越来越多的P2P应用软件对数据包内容加密,基于关键匹配的识别技术失效。 
发明内容
本发明的目的是提供一种基于BP神经网络的混合式P2P流量检测系统,使用混合式的检测手段,能有效地提高精确度,降低取伪率和弃真率,适应在当今P2P技术迅速发展的情况下对其检测的要求。 
相应的,本发明实施例提供了一种基于BP神经网络的混合式P2P流量监测系统,包括: 
BP网络模型训练模块,用于通过随机采集网络的流量数据,按照五元组的定义,将网络中通过的数据包分成双向TCP或UDP网络流,抽取与协议和端口无关的流的流量特征形成网络流的流量特征属性集合,根据这些训练数据输出一个BP网络模型即决策函数,然后将测试数据输入BP网络模型进行分类,直到获得理想的精度为止; 
分类模块,用于将训练好的BP网络模型布置到网关中,通过网关的数据被抓包送入BP分类器中进行分析分类; 
匹配模块,用于当管理平台的匹配模块接收到来自于支持向量机分类器分类的确定P2P流量数据时,开始对数据进行匹配,对可以确定类型的P2P流 量数据分别归入各自部分,有一部分被BP分类器确定为P2P数据但在匹配模块中找不到符合的项,这部分数据将由匹配模块传入到分析模块中,由分析模块来对其确认; 
分析模块,用于采用基于流量统计特征和深层数据包检测技术相结合的方法,接收BP分类器中未识别的数据和匹配模块中无法找到对应匹配项的数据, 
更新模块,用于对BP训练器进行不定期的调整,以期达到设计要求,其接收分析模块中基于流量统计特征和深层数据包检测技术相结合的方法能发现未知的P2P流量数据,以提高训练器的效果,使得训练器产生的分类模型更适合分类器使用; 
管理模块,用于作为整个管理平台的中枢,由它来协调匹配模块、分析模块、更新模块的关系,组织几个模块的正确运行,并生成流量日志。 
所述分类模块还用于设定模糊区域,对未识别的流量作为输入数据传给管理平台和BP训练器中,由管理平台的分析模块负责对未识别的数据进行分析,最终确定其数据类别。 
分析模块首先对这些数据进行简单的常用端口过滤,过滤掉一些使用常用端口的非P2P流量数据,然后使用流量特征匹配确认该数据报文是否符合P2P流量特征,如果符合,再进行载荷匹配以获得其应用类型,如果此时在无法找到相匹配的项,则根据载荷特征新建一匹配项,对不符合流量统计特征的数据报文也要进行载荷匹配;若找到匹配项,则获知其应用类型,否则认为其为非P2P流量。 
本发明具有如下有益效果,本发明通过基于BP神经网络的混合式P2P流量检测方法,使用混合式的检测手段,能有效地提高精确度,降低取伪率和弃真率,适应在当今P2P技术迅速发展的情况下对其检测的要求。 
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。 
图1是本发明实施例中的基于BP神经网络的混合式P2P流量监测系统结构示意图; 
图2是本发明实施例中的匹配模块处理流程示意图; 
图3是本发明实施例中的分析模块检测方法结构示意图。 
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。 
图1示出了本发明实施例中的基于BP神经网络的混合式P2P流量监测系统结构示意图,其包括有BP网络模型训练模块、分类模块、匹配模块、分析模块、更新模块、管理模块等模块,其中: 
BP网络模型训练模块:通过随机采集网络的流量数据,按照五元组(源IP地址、源端口号、目标IP地址、目标端口号、IP协议)的定义,将网络中通过的数据包分成双向TCP或UDP网络流,抽取与协议和端口无关的流的流量特征(流的大小、流的持续时间等)形成网络流的流量特征属性集合,作为训练样本输入到BP训练机之中,根据这些训练数据输出一个模型,这个模型实际上就是通过样本构造的一个决策函数。然后将测试数据输入该模型进行分类,如果非P2P流量被识别为P2P流量的比例较大,则说明取伪率比较高;相反,如果P2P流量被识别为非P2P流量的比例较大,则说明弃真率比较高。接下来应该对当前的情况进行反馈:将错误划分为P2P的非P2P流量重新归到非P2P一类;同时也将被错误划分为非P2P的P2P流量重新归到P2P一类。循环执行前面的步骤,直到获得理想的精度为止。在该实验最开始的时候,投入 训练的样本并不多,这是为了保证能够迅速的构造决策函数。接下来的反馈过程将错误划分的样本进行纠正,相当于在下一次训练中加入了先验知识,从而通过学习提高分类性能。随着迭代次数的增加,投入训练的样本越来越多,包含的数据特征也越来越全面:同时由于反馈次数的增多,该训练器的分类性能也随着加入的先验知识不断增强,最终将达到较为理想的效果。 
分类模块:将训练好的BP网络模型加入布置到网关中,通过网关的数据被抓包送入BP分类器中进行分析并对其分类。为了保证模型的动态更新,识别新型的P2P流量,BP分类器在使用时不仅仅只是识别P2P应用类型和非P2P应用,增大取伪率和弃真率,为此我们设定一个缓冲区域,在这个缓冲区域内,我们暂且不去区分流量类别,而是将此流量作为输入数据传给管理平台和BP训练器。由管理平台的分析模块负责对这部分模糊数据进行分析,最终确定其数据类别,由分类器确定的P2P流量作为输入传到管理平台的匹配模块中,再由匹配模块确定其P2P流量的类型。 
匹配模块:当管理平台的匹配模块接收到来自于BP分类器分类的确定P2P流量数据时,开始对数据进行匹配,如图3所示。对可以确定类型的P2P流量数据分别归入各自部分,但仍然会有一部分被BP网络模型确定为P2P数据但在匹配模块中找不到符合的项,这部分数据将由匹配模块传入到分析模块中,由分析模块来对其确认。 
分析模块:分析模块对传入数据进行分析分析模块采用基于流量统计特征和深层数据包检测(DPI)技术相结合的方法。分析模块接收的数据来自两个地方,其中一处是来自BP分类器中不能确定的模糊区域的数据,另一处来自匹配模块中无法找到对应匹配项的数据。分析模块首先对这些数据进行简单的常用端口(不包括80这个常用端口,这个端口被某些P2P软件使用)过滤,这样可以过滤掉一些使用常用端口的非P2P流量数据。然后使用流量特征匹配确认该数据报文是否符合P2P流量特征,如果符合,再进行载荷(payload)匹配以获得其应用类型。如果此时在无法找到相匹配的项,则根据载荷特征新建一匹配项,因为这种被基于流量统计特征检测出而不能被利用深层数据包检测技术检测到的P2P流量极有可能是未知的P2P流量或加密的P2P流量。对不符合流量统计特征的数据报文也要进行载荷(payload)匹配,若找到匹配项,则获知 其应用类型;否则认为其为非P2P流量。采用这种新型的检测方法,未知的和加密的P2P应用可以在流量特征匹配阶段进行有效的检测,从而克服了深层数据包检测技术在这方面固有的缺陷,而对于P2P应用的分类又克服了基于流量检测技术分类能力弱的缺陷。由于是基于流量特征和payload特征的双重检测来确定P2P流量,只要保证流量特征和payload特征的组合能够唯一确定P2P协议即可,所以在制定过滤规则时可以根据性能的需要去掉许多复杂的流量特征和payload特征,从而提高检测效率。分析模块也会向匹配模块传送匹配模块尚不具有的,但被分析模块确定为P2P流量的数据特征,这样匹配模块可以对BP分类器分类的P2P流量数据进行更好的匹配。 
更新模块:对BP训练器进行不定期的调整网络技术总是不断的进步,P2P技术也是在不断的发展。在长期的使用环境下,如果不对BP网络模型进行不断的训练,BP网络模型将无法对新型的P2P应用做出反应或做出错误的反应,对P2P流量的检测效率和精度都将越来越低。因此我们设计一个更新模块对BP训练器进行不定期的调整,以期达到我们的要求。更新模块的数据来自于分析模块,基于流量统计特征和深层数据包检测技术相结合的方法能发现未知的P2P流量。这些数据的提供可以提高训练器的效果,使得训练器产生的分类模型更适合分类器使用。 
管理模块:作为整个管理平台的中枢,由它来协调匹配模块、分析模块、更新模块的关系,组织几个模块的正确运行,并生成流量日志。 
综上,本发明实施例基于BP神经网络的混合式P2P流量检测系统,使用混合式的检测手段,能有效地提高精确度,降低取伪率和弃真率,适应在当今P2P技术迅速发展的情况下对其检测的要求。 
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。 
以上对本发明实施例所提供的基于BP神经网络的混合式P2P流量检测系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。 

Claims (3)

1.一种基于BP神经网络的混合式P2P流量监测系统,其特征在于,包括:
BP网络模型训练模块,用于通过随机采集网络的流量数据,按照五元组的定义,将网络中通过的数据包分成双向TCP或UDP网络流,抽取与协议和端口无关的流的流量特征形成网络流的流量特征属性集合,根据这些训练数据输出一个BP网络模型即决策函数,然后将测试数据输入BP网络模型进行分类,直到获得理想的精度为止;
分类模块,用于将训练好的BP网络模型布置到网关中,通过网关的数据被抓包送入BP分类器中进行分析分类;
匹配模块,用于当管理平台的匹配模块接收到来自于支持向量机分类器分类的确定P2P流量数据时,开始对数据进行匹配,对可以确定类型的P2P流量数据分别归入各自部分,有一部分被BP分类器确定为P2P数据但在匹配模块中找不到符合的项,这部分数据将由匹配模块传入到分析模块中,由分析模块来对其确认;
分析模块,用于采用基于流量统计特征和深层数据包检测技术相结合的方法,接收BP分类器中未识别的数据和匹配模块中无法找到对应匹配项的数据,
更新模块,用于对BP训练器进行不定期的调整,以期达到设计要求,其接收分析模块中基于流量统计特征和深层数据包检测技术相结合的方法能发现未知的P2P流量数据,以提高训练器的效果,使得训练器产生的分类模型更适合分类器使用;
管理模块,用于作为整个管理平台的中枢,由它来协调匹配模块、分析模块、更新模块的关系,组织几个模块的正确运行,并生成流量日志。
2.如权利要求1所述的基于BP神经网络的混合式P2P流量监测系统,其特征在于,所述分类模块还用于设定模糊区域,对未识别的流量作为输入数据传给管理平台和BP训练器中,由管理平台的分析模块负责对未识别的数据进行分析,最终确定其数据类别。
3.如权利要求2所述的基于BP神经网络的混合式P2P流量监测系统,其特征在于,分析模块首先对这些数据进行简单的常用端口过滤,过滤掉一些使用常用端口的非P2P流量数据,然后使用流量特征匹配确认该数据报文是否符合P2P流量特征,如果符合,再进行载荷匹配以获得其应用类型,如果此时在无法找到相匹配的项,则根据载荷特征新建一匹配项,对不符合流量统计特征的数据报文也要进行载荷匹配;若找到匹配项,则获知其应用类型,否则认为其为非P2P流量。
CN201310330668.8A 2013-07-31 2013-07-31 一种基于bp神经网络的混合式p2p流量监测系统 Pending CN103490944A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310330668.8A CN103490944A (zh) 2013-07-31 2013-07-31 一种基于bp神经网络的混合式p2p流量监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310330668.8A CN103490944A (zh) 2013-07-31 2013-07-31 一种基于bp神经网络的混合式p2p流量监测系统

Publications (1)

Publication Number Publication Date
CN103490944A true CN103490944A (zh) 2014-01-01

Family

ID=49830916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310330668.8A Pending CN103490944A (zh) 2013-07-31 2013-07-31 一种基于bp神经网络的混合式p2p流量监测系统

Country Status (1)

Country Link
CN (1) CN103490944A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873561A (zh) * 2014-02-19 2014-06-18 东莞中山大学研究院 一种基于网络编码的p2p模式推送调度方法
CN104144089A (zh) * 2014-08-06 2014-11-12 山东大学 一种基于bp神经网络进行流量识别的方法
CN107634874A (zh) * 2017-09-01 2018-01-26 南通大学 Sdn环境下基于bp神经网络的p2p流量检测方法
CN110808971A (zh) * 2019-10-30 2020-02-18 中国科学院信息工程研究所 一种基于深度嵌入的未知恶意流量主动检测系统及方法
CN115473850A (zh) * 2022-09-14 2022-12-13 电信科学技术第十研究所有限公司 一种基于ai的实时数据过滤方法、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510873A (zh) * 2009-03-20 2009-08-19 扬州永信计算机有限公司 基于支持向量机的混合式点对点流量检测方法
CN101686235A (zh) * 2008-09-26 2010-03-31 中联绿盟信息技术(北京)有限公司 网络异常流量分析设备和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686235A (zh) * 2008-09-26 2010-03-31 中联绿盟信息技术(北京)有限公司 网络异常流量分析设备和方法
CN101510873A (zh) * 2009-03-20 2009-08-19 扬州永信计算机有限公司 基于支持向量机的混合式点对点流量检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邓力为,周中伟,李阳,段辉良: ""基于遗传神经网络的P2P流量检测研究"", 《中南林业科技大学学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873561A (zh) * 2014-02-19 2014-06-18 东莞中山大学研究院 一种基于网络编码的p2p模式推送调度方法
CN104144089A (zh) * 2014-08-06 2014-11-12 山东大学 一种基于bp神经网络进行流量识别的方法
CN104144089B (zh) * 2014-08-06 2017-06-16 山东大学 一种基于bp神经网络进行流量识别的方法
CN107634874A (zh) * 2017-09-01 2018-01-26 南通大学 Sdn环境下基于bp神经网络的p2p流量检测方法
CN110808971A (zh) * 2019-10-30 2020-02-18 中国科学院信息工程研究所 一种基于深度嵌入的未知恶意流量主动检测系统及方法
CN115473850A (zh) * 2022-09-14 2022-12-13 电信科学技术第十研究所有限公司 一种基于ai的实时数据过滤方法、系统及存储介质
CN115473850B (zh) * 2022-09-14 2024-01-05 电信科学技术第十研究所有限公司 一种基于ai的实时数据过滤方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN111277578B (zh) 加密流量分析特征提取方法、系统、存储介质、安全设备
Wang et al. A network intrusion detection system based on convolutional neural network
CN107181612A (zh) 一种基于大数据的可视化网络安全监控方法
CN102420723A (zh) 一种面向多类入侵的异常检测方法
Yihunie et al. Applying machine learning to anomaly-based intrusion detection systems
CN112468347B (zh) 一种云平台的安全管理方法、装置、电子设备及存储介质
CN103490944A (zh) 一种基于bp神经网络的混合式p2p流量监测系统
CN109587125B (zh) 一种网络安全大数据分析方法、系统及相关装置
Rehák et al. Adaptive multiagent system for network traffic monitoring
CN110808945A (zh) 一种基于元学习的小样本场景下网络入侵检测方法
CN106936812B (zh) 一种云环境下基于Petri网的文件隐私泄露检测方法
CN110263566B (zh) 一种海量日志提权行为检测及分类方法
CN103067218A (zh) 一种高速网络数据包内容分析装置
Feng et al. BotFlowMon: Learning-based, content-agnostic identification of social bot traffic flows
CN117220920A (zh) 基于人工智能的防火墙策略管理方法
CN107070897A (zh) 入侵检测系统中基于多属性哈希去重的网络日志存储方法
CN114785563A (zh) 一种软投票策略的加密恶意流量检测方法
Portela et al. Evaluation of the performance of supervised and unsupervised Machine learning techniques for intrusion detection
RU180789U1 (ru) Устройство аудита информационной безопасности в автоматизированных системах
JP2024009217A (ja) ネットワークフォレンジック方法
CN117349618A (zh) 网络信息系统的恶意加密流量检测模型的构建方法及介质
Qi Computer Real-Time Location Forensics Method for Network Intrusion Crimes.
Anwar et al. Comparison of artificial intelligence algorithms for IoT botnet detection on apache spark platform
CN106375351A (zh) 一种异常域名检测的方法及装置
CN109922083A (zh) 一种网络协议流量控制系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140101

RJ01 Rejection of invention patent application after publication