CN104270392A - 一种基于三分类器协同训练学习的网络协议识别方法及系统 - Google Patents
一种基于三分类器协同训练学习的网络协议识别方法及系统 Download PDFInfo
- Publication number
- CN104270392A CN104270392A CN201410575510.1A CN201410575510A CN104270392A CN 104270392 A CN104270392 A CN 104270392A CN 201410575510 A CN201410575510 A CN 201410575510A CN 104270392 A CN104270392 A CN 104270392A
- Authority
- CN
- China
- Prior art keywords
- grader
- protocol
- network
- packet
- classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000009467 reduction Effects 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 15
- 239000003550 marker Substances 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 11
- 238000013480 data collection Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 239000011159 matrix material Substances 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 101000911390 Homo sapiens Coagulation factor VIII Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 102000057593 human F8 Human genes 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 229940047431 recombinate Drugs 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/026—Capturing of monitoring data using flow identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/18—Protocol analysers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种基于三分类器协同训练学习的网络协议识别方法及系统:对网络原始流量进行IP重组和TCP流还原,将网络数据由包为单位规约为以流为单位;提取每条单向流的特征信息并向量化,构建特征矩阵;使用少量标记样本构建三分类器协同训练分类器;判定是否已有所分析协议的分类模型,如果没有则先利用三分类器协同训练学习方法构建协议分类器,否则对数据包的协议属性进行判别;利用基于J48的三分类器协同训练学习算法进行训练并得到所分析协议的分类模型;对未标识的网络数据包进行协议类别判定,输出结果为两类:一类是属于目标协议的网络数据包,另一类是非目标协议的网络数据包。本发明保证很高的识别准确率和召回率。
Description
技术领域
本发明涉及一种基于三分类器协同训练学习的网络协议识别方法及系统,属于网络协议识别技术性。
背景技术
网络协议识别技术是通过对网络数据流进行分析,从而将网络数据流与其相对应的具体网络应用相关联的过程。识别网络数据流中所承载的具体应用协议是网络安全领域的核心问题之一。网络协议识别技术在多个领域有着广泛的应用,例如入侵检测和防范系统(IDS/IPS)、网络测量、面向应用的缓存和路由机制、面向应用感知的负载均衡,流量分类和隧道检测等。因此,在混杂有多种协议的网络数据流量中,如何对不同种类的网络协议进行识别是目前计算机网络与安全领域亟待解决的核心问题之一。
以其在入侵检测和防范系统中的应用为例,入侵检测和防范系统通常依照已有的协议规范,通过对数据包载荷部分的有效解析从而实现积极、有效的安全防护策略。早期的协议识别方法,由于网络上的协议数量较少,且其服务端口通常遵循IANA(InternetAssigned Numbers Authority)注册列表规范,所以实际识别中仅需根据服务端口即可准确判定其应用层协议。但是随着网络协议的丰富,尤其是P2P等新兴网络应用的发展,网络应用对于端口的使用逐渐脱离了IANA的约束,甚至为了逃避安全检测系统或流量分析工具的检查而使用随机端口或端口跳变技术。当面临大量出现的未知、私有协议的网络流量时,传统的检测方法或手段很难对相应的应用协议做出正确识别。根据Internet2NetFlow组织对骨干网中流量的统计发现:超过40%的网络数据流属于未定义的应用协议。其中恶意代码流量占有相当比例。特别地,当0-day网络数据流出现时(即此类应用的网络数据流第一次在网络中被发现),如何针对此类协议进行有效识别,进而能够有效地防范网络失窃密等安全问题发生。
此外,当今现代化的接入级网络与骨干级网络通常需要具有识别与不同应用相关联的网络数据流的能力。在接入级网络和骨干级网络中,协议识别相关技术的有效部署可以有效地解决网络运营与管理,网络服务差异化和容量配置等多项关键问题。近些年来,随着P2P-VoIP和P2P-TV等应用的广泛普及,P2P应用程序的网络数据流在互联网整体流量中占据了很大的比例。很多P2P应用程序都是带宽密集型的应用程序。其在提供相应服务的过程中产生了大量的网络数据流,使得其他应用程序的服务质量受到了较大影响。例如,在公司网络环境中,企业管理者希望对P2P协议的网络数据流量提供一个降级化的服务策略,如限制上传和下载的传输速率,提供差异化的服务策略,甚至是直接对P2P流量进行封堵。从而,以期确保公司内部关键应用程序的网络数据流,在网络传输过程中具有良好的性能。宽带互联网服务供应商同样也期望限制P2P协议的网络流量,从而降低上游ISP收取的相关带宽费用。所有的这些实际需求,都使得对网络协议的准确识别成为了网络领域的核心话题之一。
除了QoS服务相关应用以外,协议识别工作有助于解决许多其他的应用问题,如网络取证(Network Forensics)。网络取证是数字取证的一个子领域,为了实现信息搜集。法律证据获取或入侵检测,网络取证研究需要对网络流量进行有效的监控和分析。在这项网络安全应用中,网络协议识别的相关研究工作起到了至关重要的作用。例如,在监控网络异常流量和入侵识别的场景下,网络攻击者通常利用操作系统的系统漏洞攻陷一个运行中的主机。在实现目标以后,网络攻击者可能通过清除在被攻陷主机上所产生的所有日志文件信息的方法来消灭攻击证据。这样将使得基于主机本身的取证工作变得十分困难或者不可行。因此,以网络为基础的证据信息可能是唯一可用于分析的证据信息。针对上述问题,设计合理、有效的络协议识别方法给网络信息安全研究人员带来了新的挑战。
网络协议识别方法根据其研究对象的不同可划分为基于传输层端口、基于数据包载荷和基于网络数据流统计行为特征三种类别。传统的网络协议识别方法大多属于有监督的机器学习算法。这类方法依照所获得的离线学习样本构建单一或者多种协议分类模型,从而实现对网络协议的准确识别。这类方法实验效果的优劣均依赖所分析的训练样本集合。然而,在实际分析过程中,网络协议数据流,特别是未知网络协议(如僵尸网络)的获取与标记工作严重依赖领域专家。这是一件即费时又繁杂的工作。甚至在样本数据量过大时,人工标记已无法满足实际需求。因此,在复杂的网络环境中,如何以最小的样本标记代价,构建准确的协议识别模型,是目前网络协议识别领域的研究热点。
发明内容
本发明的技术解决问题:克服现有技术的不足,提供一种基于三分类器协同训练学习的网络协议识别方法及系统,用于解决当前网络流量识别问题中有监督机器的学习算法需要大量人工标记的弊端,以期在复杂的网络环境中,用最小的样本标记代价构建出高可信度的网络数据流分类器,具有很高的识别准确率和召回率。
本发明技术解决方案:一种基于三分类器协同训练学习的网络协议识别方法,实现步骤如下:
(1)数据包捕获和统计特征提取:以网络数据包作为输入,经过IP重组和TCP流还原将数据包构造为流,然后提取单向流的特征信息,获得数据包特征向量;
(2)分类器存在情况判断:判定是否已有所分析协议的分类模型,如果没有则先利用三分类器协同训练学习方法构建协议分类器,否则对数据包的协议属性进行判别;
(3)分类器构建:利用基于J48的三分类器协同训练学习算法对上述单向数据流的特征向量进行训练并得到所分析协议的分类模型;
(4)协议识别:使用上述分类器对未标记的网络数据测试集进行协议类别判定,输出结果为两类:一类是属于目标协议的网络数据包,另一类是非目标协议的网络数据包。
一种基于三分类器协同训练学习的网络协议识别系统,包括:数据包捕获与统计特征提取模块、分类器构建模块和协议识别模块;
数据包捕获和统计特征提取模块:以网络流量的数据包为输入,经过IP重组和TCP流还原,提取出预定义的单向流的统计特征,并将这些统计特征转化为特征向量的集合;
分类器构建模块:以数据包建模模块获得数据包特征向量作为输入,利用基于J48的三分类器协同训练学习方法对离线训练数据集进行学习,获得所分析协议的分类模型;
协议识别模块:利用上述分类器对测试集进行分类,得出高准确率的分类结果,一类是属于目标协议的网络数据包,另一类是非目标协议的网络数据包。
本发明与现有技术相比的优点在于:
(1)本发明在学习过程中选择可信度最高的样本训练分类器。这种采样策略使得学习效率(样本标记时间、学习训练训练时间等)得到大幅提高,提高学习效率。在实践过程中,只需要少量的标注样本,不需要人工标注,通过对训练样本的合理选取,在样本标记代价很小的前提下,同样可以保证很高的识别准确率和召回率。
(2)本发明以网络数据流为输入,自动地从混杂网络流量中对所分析协议的网络数据流进行准确识别;且本发明只分析IP数据包的统计特征,不需要对程序的可执行代码进行逆向分析,也不依赖协议规范中的先验知识,可解决面向连接协议(如TCP)和面向无连接协议(如UDP)的识别问题,并可适用于文本,二进制和加密类协议的识别,适用范围广泛。
附图说明
图1为本发明基于三分类器协同训练学习的网络协议识别方法流程图;
图2为三分类器协同训练学习分类器构建的流程图;
图3为J48和三分类器协同训练Training准确率对比实验(Y轴为百分数);
图4为J48和三分类器协同训练Training召回率对比实验(Y轴为百分数);
图5为J48和三分类器协同训练Training的F-Measure值对比实验(Y轴为百分数)。
具体实施方式
如图1所示,本发明具体实现如下:包括四个主要阶段:数据包捕获与统计特征提取阶段;分类器存在情况判断阶段;三分类器协同训练学习算法分类器构建阶段和协议识别阶段。
1.数据包捕获与统计特征提取:数据包在网络传输过程中由于分片的原因,到达目的终端需要进行重组,依据是同一个IP包的片段有相同的标识。TCP提供面向连接的、可靠的、基于字节流的数据传输服务,TCP报文段数据是对应着序号的字节流,由于包到达顺序并不遵循前者先到的原则,所以以流为单位的特征提取必须要经过TCP流还原,TCP流还原的依据是一次TCP连接中的序号是递增加一的。在获得了原始数据包之后,本发明对其进行统计特征的提取和特征的向量化,这里定义了20种单向流的统计特征,所谓单向流就是具有相同的五元组但数据流向不同的数据包序列,特征集合如表1所示。统计特征提取基于上述经过IP重组和TCP流还原的流数据报文,采用统计方法计算得出。特征向量化是指将每条流的统计特征数据构建为一个向量,便于后续处理。经过该步骤的处理,得到了单向网络数据流的特征向量集合。
表1单向流统计特征
2.分类器存在情况判断:判定是否已有所分析协议的分类模型,如果没有先利用三分类器协同训练学习方法构建协议分类器,否则对数据包的协议属性进行判别。
3.分类器构建:利用基于J48的三分类器协同训练学习算法对上述单向数据流的特征向量进行训练并得到所分析协议的分类模型。
4.协议识别:使用上述分类器对未标记的网络数据测试集进行协议类别判定,输出结果为两类:一类是属于目标协议的网络数据包,另一类是非目标协议的网络数据包。
而整个方法的创新点在于上述第三步分类器的构建,它是整个“基于三分类器协同训练学习的网络协议识别方法及系统”的核心部分,为协议识别提供了高效、高可信度的分类器从而提高识别的准确率。分类器的构建可以分为以下几个步骤,图2给出了基于三分类器协同训练学习的分类器构建的流程图。
数据包捕获与统计特征提取阶段得到了单向网络数据流的向量集,它包括了已标记样本集合X和未标记样本集合U,其中X的样本标记是通过深度包检测工具人工标注的,其数量远小于未标记样本数量。三分类器协同训练训练分类器过程的输入是已标记训练样本集合X中的少量已标记样本和未标记测试样本集合U中(包含有正样本和负样本)大量未标记样本。r为三分类器协同训练学习算法的终止条件。三分类器协同训练训练分类器过程的输出结果是经过评估和优化的分类器f,和已标注样本集合X,这个分类器f将作为协议判别阶段的输入,以此来获得高可信度的识别结果。本发明方法基于三分类器协同训练对分类器构建阶段的具体实施步骤如下:
(1)对数据包捕获与统计特征提取阶段得出的单向网络数据流的向量集合应用深度包检测技术,将少量(百数量级)的训练样本进行人工标记,记为X集合,将大量(百万数量级)剩余的向量记为U集合。然后根据上述已标记训练样本集合X中的已标记样本集x1,x2,x3,分别训练构造SVM分类器f1,f2,f3;
(2)利用已构造的SVM分类器f1,f2,f3,对U集合中所有未标记的样本u进行分类;
(3)根据分类器f1,f2,f3的分类结果,若两个分类器(f1,f2;f2,f3;f1,f3)对u标记相同,则将u连同标记结果加入到第三个分类器的已标记样本集(x3;x1;x2)中;
(4)对分类器模型f1,f2,f3进行评估;
(5)若达到中止条件r时,则算法中止,输出经过评估和优化的分类器f,该分类器将应用于协议识别阶段,为后续的测试样本进行高可信度的分类,否则重复步骤(1)-(4)。
结合上述基于三分类器协同训练的网络协议识别方法,本发明同时公开了一种基于三分类器协同训练的网络协议识别系统。本发明系统主要由统计特征提取模块、分类器构建模块和协议识别模块三部分构成。
1.数据包捕获与统计特征提取模块:以网络数据包作为输入,经过IP重组和TCP流还原将数据包构造为流,然后提取单向流的特征信息,最终将流特征向量化以便于分类。
2.分类器构建模块:以数据包建模模块获得数据包特征向量作为输入,利用基于J48的三分类器协同训练学习方法对离线训练数据集进行学习,从而获得所分析协议的分类模型。
3.协议识别模块:以数据包建模模块获得的数据包特征向量作为输入。利用通过分类器构建模块得到的协议分类模型,对待测网络数据包的协议属性做出判别。输出结果为两类:一类是属于目标协议的网络数据包,另一类是非目标协议的网络数据包。
下面对本发明进行验证。在验证实验中,本发明首先抓取骨干网的数据流量并提取其统计特征,对SMTP协议在标记样本数量T不同取值的情况下分别进行实验,标记样本数量在100-600条之间,步长为100,测试集数量为百万数量级。对比基于J48的三分类器协同训练学习策略和只应用J48的学习策略的准确率,召回率和F-Measure值。实验的实施步骤包括数据集构建、统计特征提取、学习算法应用、实验结果评估四个模块。
1.数据集构建:本发明在实验部分使用零拷贝的方法捕获了2014年8月5日某骨干网的流量数据,借助DPI的方法,通过应用SMTP协议的数据格式特征,提纯少量的SMTP报文以作为标记样本。同时,将非SMTP的流量进行抽样,构建数据包作为负样本。三分类器协同训练学习算法需要使用三个数据集:标记样本集,未标记样本集以及测试集,标记样本集采用少量SMTP流量作为正样本,非SMTP流量作为正样本;未标记样本集采用包含有SMTP的混杂数据集合,数据量大;测试集也采用混杂数据集合,数据量大。与之不同,传统的J48分类器只采用标记样本和测试样本,为了控制变量,二者共用的数据集保持一致。
2.统计特征提取:统计特征提取以数据流为单位。数据流是拥有相同五元组的数据包集合,五元组即源IP、目的IP、源端口、目的端口和传输层的协议号。对原始的数据报文进行了IP重组和流还原,接着以单向流(S-C或C-S)为单位,提取数据流的统计特征,特征包括数据包个数,数据包大小,单向数据包个数,单项数据包大小,流内数据包大小的最大值、最小值、平均值及方差,流内数据包间隔的最大值、最小值、平均值及方差,共11项。
3.学习算法应用:分别完成J48学习方法和三分类器协同训练学习方法的算法实现,并获得测试数据的准确率、召回率和F-Measure指标。其中F-Measure指标是召回率和准确率的加权调和平均数,用于综合考虑召回率和准确率的影响,其计算如公式3所示。
4.实验结果评估:对于分类器的评价指标,首先定义四个数据集合如下:
True Positives(TP):被系统识别为某协议的网络数据包,且确实是属于该协议的网络数据包集合。
False Positives(FP):被系统识别为某协议的网络数据包,但并不属于该协议的网络数据包集合。
False Negatives(FN):被系统识别为非某协议的网络数据包,但其实是属于该协议的网络数据包集合。
True Negatives(TN):被系统识别为非某协议的网络数据包,且确实不属于该协议的网络数据包集合。
基于上述三种数据集合,本发明采用机器学习领域中通常使用的准确率(precision),召回率(recall)和F-Measure三种评价指标来对系统的有效性和可靠性进行评价。三种评价指标定义如下:
由于准确率与召回率分别描述系统性能的两个方面,单一使用准确率和召回率作为评价指标具有局限性,因此,本发明选用F-Measure指标将这两个指标进行综合考虑,从而选择最优方案。基于J48算法的三分类器协同训练学习算法与J48学习算法在SMTP协议上的准确率、召回率、F-Meature对比实验结果如图3、4、5所示。
上述实验对比图是SMTP协议的实验结果。在实验中,标记的训练样本从100条流到600条流,远远小于未标记数据集百万条级别的数据量。当改变训练集标记样本的数量时,两种对比方法有着不一样的表现。从3、4、5图中可以看到,当标记数据量超过200时,本发明方法比J48方法的准确率、召回率及F-Measure值都要高。这说明本发明方法可以在标记数据量极少的情况下有效提高对未知协议识别的效果,这样就极大地缩短了标记样本数据的时间成本,与此同时提高了识别效率。
本发明未详细阐述部分属于本领域技术人员公知技术。
提供以上实施例仅仅是为了描述本发明的目的,而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改,均应涵盖在本发明的范围之内。
Claims (3)
1.一种基于三分类器协同训练学习的网络协议识别方法,其特征在于实现步骤如下:
(1)数据包捕获和统计特征提取:以网络数据包作为输入,经过IP重组和TCP流还原将数据包构造为流,然后提取单向流的特征信息,获得数据包特征向量;
(2)分类器存在情况判断:判定是否已有所分析协议的分类模型,如果没有则先利用三分类器协同训练学习方法构建协议分类器,否则对数据包的协议属性进行判别;
(3)分类器构建:利用基于J48的三分类器协同训练学习算法对上述单向数据流的特征向量进行训练并得到所分析协议的分类模型;
(4)协议识别:使用上述分类器对未标记的网络数据测试集进行协议类别判定,输出结果为两类:一类是属于目标协议的网络数据包,另一类是非目标协议的网络数据包。
2.根据权利要求1所述的基于三分类器协同训练学习的网络协议识别方法,其特征在于:所述步骤(3)分类器构建步骤为:
(1)对数据包捕获与统计特征提取步骤得出的单向网络数据流的特征向量集合,采用深度包检测技术,将少量的训练样本进行人工标记,记为X集合,将大量剩余的向量记为U集合,然后根据已标记训练样本集合X中少量的已标记样本集x1,x2,x3,分别训练构造SVM分类器f1,f2,f3;
(2)利用已构造的SVM分类器f1,f2,f3,对U集合中所有未标记的样本u进行分类;
(3)根据分类器f1,f2,f3的分类结果,若两个分类器(f1,f2;f2,f3;f1,f3)对样本u标记相同,则将u连同标记结果加入到第三个分类器的已标记样本集(x3;x1;x2)中;
(4)对分类器模型f1,f2,f3进行评估;
(5)若达到中止条件r时,则中止,输出经过评估和优化的分类器f,该分类器将应用于协议识别阶段,为后续的测试样本进行高可信度的分类,否则重复步骤(1)-(4)。
3.一种基于三分类器协同训练学习的网络协议识别系统,其特征在于包括:数据包捕获与统计特征提取模块、分类器构建模块和协议识别模块;
数据包捕获和统计特征提取模块:以网络流量的数据包为输入,经过IP重组和TCP流还原,提取出预定义的单向流的统计特征,并将这些统计特征转化为特征向量的集合;
分类器构建模块:以数据包建模模块获得数据包特征向量作为输入,利用基于J48的三分类器协同训练学习方法对离线训练数据集进行学习,获得所分析协议的分类模型;
协议识别模块:利用上述分类器对测试集进行分类,得出高准确率的分类结果,一类是属于目标协议的网络数据包,另一类是非目标协议的网络数据包。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410575510.1A CN104270392B (zh) | 2014-10-24 | 2014-10-24 | 一种基于三分类器协同训练学习的网络协议识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410575510.1A CN104270392B (zh) | 2014-10-24 | 2014-10-24 | 一种基于三分类器协同训练学习的网络协议识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104270392A true CN104270392A (zh) | 2015-01-07 |
CN104270392B CN104270392B (zh) | 2017-09-26 |
Family
ID=52161882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410575510.1A Expired - Fee Related CN104270392B (zh) | 2014-10-24 | 2014-10-24 | 一种基于三分类器协同训练学习的网络协议识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104270392B (zh) |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105141455A (zh) * | 2015-08-24 | 2015-12-09 | 西南大学 | 一种基于统计特征的有噪网络流量分类建模方法 |
CN107967311A (zh) * | 2017-11-20 | 2018-04-27 | 阿里巴巴集团控股有限公司 | 一种对网络数据流进行分类的方法和装置 |
CN108028807A (zh) * | 2015-10-09 | 2018-05-11 | 华为技术有限公司 | 用于在线自动识别网络流量模型的方法和系统 |
CN108289093A (zh) * | 2017-12-29 | 2018-07-17 | 北京拓明科技有限公司 | App应用特征码库的构建方法及构建系统 |
CN108460423A (zh) * | 2018-03-26 | 2018-08-28 | 大连大学 | 一种基于sdn架构的业务识别方法 |
CN108650194A (zh) * | 2018-05-14 | 2018-10-12 | 南开大学 | 基于K_means和KNN融合算法的网络流量分类方法 |
CN108650280A (zh) * | 2018-08-03 | 2018-10-12 | 陕西中达公路技术服务有限公司 | 一种自适应多协议适配方法 |
CN110049023A (zh) * | 2019-03-29 | 2019-07-23 | 中国空间技术研究院 | 一种基于机器学习的未知协议逆向识别方法及系统 |
CN110175635A (zh) * | 2019-05-07 | 2019-08-27 | 南京邮电大学 | 基于Bagging算法的OTT应用程序用户分类方法 |
CN110225001A (zh) * | 2019-05-21 | 2019-09-10 | 清华大学深圳研究生院 | 一种基于主题模型的动态自更新网络流量分类方法 |
CN110335250A (zh) * | 2019-05-31 | 2019-10-15 | 上海联影智能医疗科技有限公司 | 网络训练方法、装置、检测方法、计算机设备和存储介质 |
CN111181919A (zh) * | 2019-11-30 | 2020-05-19 | 浙江大学 | 一种多代理合作场景下的通信协议学习和迁移的方法 |
CN111211948A (zh) * | 2020-01-15 | 2020-05-29 | 太原理工大学 | 基于载荷特征和统计特征的Shodan流量识别方法 |
CN111222019A (zh) * | 2019-12-17 | 2020-06-02 | 山石网科通信技术股份有限公司 | 特征提取的方法和装置 |
CN111310796A (zh) * | 2020-01-19 | 2020-06-19 | 中山大学 | 一种面向加密网络流的Web用户点击识别方法 |
CN111726264A (zh) * | 2020-06-18 | 2020-09-29 | 中国电子科技集团公司第三十六研究所 | 网络协议变种检测方法、装置、电子设备和存储介质 |
CN111917777A (zh) * | 2020-08-03 | 2020-11-10 | 中国电子科技集团公司第三十六研究所 | 网络数据解析方法、装置和电子设备 |
CN112073242A (zh) * | 2020-09-08 | 2020-12-11 | 中国人民解放军陆军工程大学 | 一种网络协议模糊测试用例的生成及应用方法 |
CN112311755A (zh) * | 2020-06-11 | 2021-02-02 | 北京威努特技术有限公司 | 一种工控协议逆向分析方法及装置 |
CN112367215A (zh) * | 2020-09-21 | 2021-02-12 | 杭州安恒信息安全技术有限公司 | 基于机器学习的网络流量协议识别方法和装置 |
CN112995184A (zh) * | 2021-03-05 | 2021-06-18 | 中电积至(海南)信息技术有限公司 | 一种多源网络流量内容完整还原方法和装置 |
CN113221115A (zh) * | 2021-07-09 | 2021-08-06 | 四川大学 | 基于协同学习的可视化恶意软件检测方法 |
CN113452672A (zh) * | 2021-05-11 | 2021-09-28 | 国网天津市电力公司电力科学研究院 | 基于协议逆向分析的电力物联网终端流量异常分析方法 |
CN113723440A (zh) * | 2021-06-17 | 2021-11-30 | 北京工业大学 | 一种云平台上加密tls应用流量分类方法及系统 |
CN114615007A (zh) * | 2022-01-13 | 2022-06-10 | 中国科学院信息工程研究所 | 一种基于随机森林的隧道混合流量分类方法及系统 |
CN114726749A (zh) * | 2022-03-02 | 2022-07-08 | 阿里巴巴(中国)有限公司 | 数据异常检测模型获取方法、装置、设备、介质及产品 |
CN114765634A (zh) * | 2021-01-13 | 2022-07-19 | 腾讯科技(深圳)有限公司 | 网络协议识别方法、装置、电子设备及可读存储介质 |
CN115426265A (zh) * | 2022-11-02 | 2022-12-02 | 之江实验室 | 一种多模态网络下交换资源分配优化方法及装置、介质 |
CN115514720A (zh) * | 2022-09-19 | 2022-12-23 | 华东师范大学 | 一种面向可编程数据平面的用户活动分类方法及应用 |
CN116668186A (zh) * | 2023-07-18 | 2023-08-29 | 哈尔滨工业大学 | 一种基于多视角特征和集成学习的加密代理协议识别的方法 |
CN116708253A (zh) * | 2023-08-07 | 2023-09-05 | 烽台科技(北京)有限公司 | 设备识别方法、装置、设备及介质 |
US12056533B2 (en) | 2022-11-02 | 2024-08-06 | Zhejiang Lab | Method, apparatus and medium for optimizing allocation of switching resources in polymorphic network |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010076832A1 (en) * | 2008-12-31 | 2010-07-08 | Telecom Italia S.P.A. | Anomaly detection for packet-based networks |
CN102546625A (zh) * | 2011-12-31 | 2012-07-04 | 深圳市永达电子股份有限公司 | 半监督聚类集成的协议识别系统 |
CN103297427A (zh) * | 2013-05-21 | 2013-09-11 | 中国科学院信息工程研究所 | 一种未知网络协议识别方法及系统 |
CN103840983A (zh) * | 2014-01-09 | 2014-06-04 | 中国科学技术大学苏州研究院 | 基于协议行为分析的web隧道检测方法 |
-
2014
- 2014-10-24 CN CN201410575510.1A patent/CN104270392B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010076832A1 (en) * | 2008-12-31 | 2010-07-08 | Telecom Italia S.P.A. | Anomaly detection for packet-based networks |
CN102546625A (zh) * | 2011-12-31 | 2012-07-04 | 深圳市永达电子股份有限公司 | 半监督聚类集成的协议识别系统 |
CN103297427A (zh) * | 2013-05-21 | 2013-09-11 | 中国科学院信息工程研究所 | 一种未知网络协议识别方法及系统 |
CN103840983A (zh) * | 2014-01-09 | 2014-06-04 | 中国科学技术大学苏州研究院 | 基于协议行为分析的web隧道检测方法 |
Non-Patent Citations (1)
Title |
---|
闫耀辉: "基于协同训练的入侵检测方法研究", 《中国优秀硕士学位论文全文数据库信息科技集》 * |
Cited By (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105141455A (zh) * | 2015-08-24 | 2015-12-09 | 西南大学 | 一种基于统计特征的有噪网络流量分类建模方法 |
CN105141455B (zh) * | 2015-08-24 | 2018-08-17 | 西南大学 | 一种基于统计特征的有噪网络流量分类建模方法 |
CN108028807A (zh) * | 2015-10-09 | 2018-05-11 | 华为技术有限公司 | 用于在线自动识别网络流量模型的方法和系统 |
CN107967311A (zh) * | 2017-11-20 | 2018-04-27 | 阿里巴巴集团控股有限公司 | 一种对网络数据流进行分类的方法和装置 |
CN107967311B (zh) * | 2017-11-20 | 2021-06-29 | 创新先进技术有限公司 | 一种对网络数据流进行分类的方法和装置 |
CN108289093A (zh) * | 2017-12-29 | 2018-07-17 | 北京拓明科技有限公司 | App应用特征码库的构建方法及构建系统 |
CN108289093B (zh) * | 2017-12-29 | 2021-09-17 | 北京拓明科技有限公司 | App应用特征码库的构建方法及构建系统 |
CN108460423A (zh) * | 2018-03-26 | 2018-08-28 | 大连大学 | 一种基于sdn架构的业务识别方法 |
CN108460423B (zh) * | 2018-03-26 | 2020-06-02 | 大连大学 | 一种基于sdn架构的业务识别方法 |
CN108650194A (zh) * | 2018-05-14 | 2018-10-12 | 南开大学 | 基于K_means和KNN融合算法的网络流量分类方法 |
CN108650194B (zh) * | 2018-05-14 | 2022-03-25 | 南开大学 | 基于K_means和KNN融合算法的网络流量分类方法 |
CN108650280A (zh) * | 2018-08-03 | 2018-10-12 | 陕西中达公路技术服务有限公司 | 一种自适应多协议适配方法 |
CN110049023B (zh) * | 2019-03-29 | 2021-11-16 | 中国空间技术研究院 | 一种基于机器学习的未知协议逆向识别方法及系统 |
CN110049023A (zh) * | 2019-03-29 | 2019-07-23 | 中国空间技术研究院 | 一种基于机器学习的未知协议逆向识别方法及系统 |
CN110175635A (zh) * | 2019-05-07 | 2019-08-27 | 南京邮电大学 | 基于Bagging算法的OTT应用程序用户分类方法 |
CN110175635B (zh) * | 2019-05-07 | 2022-08-30 | 南京邮电大学 | 基于Bagging算法的OTT应用程序用户分类方法 |
CN110225001B (zh) * | 2019-05-21 | 2021-06-04 | 清华大学深圳研究生院 | 一种基于主题模型的动态自更新网络流量分类方法 |
CN110225001A (zh) * | 2019-05-21 | 2019-09-10 | 清华大学深圳研究生院 | 一种基于主题模型的动态自更新网络流量分类方法 |
CN110335250A (zh) * | 2019-05-31 | 2019-10-15 | 上海联影智能医疗科技有限公司 | 网络训练方法、装置、检测方法、计算机设备和存储介质 |
CN111181919A (zh) * | 2019-11-30 | 2020-05-19 | 浙江大学 | 一种多代理合作场景下的通信协议学习和迁移的方法 |
CN111222019B (zh) * | 2019-12-17 | 2022-09-06 | 山石网科通信技术股份有限公司 | 特征提取的方法和装置 |
CN111222019A (zh) * | 2019-12-17 | 2020-06-02 | 山石网科通信技术股份有限公司 | 特征提取的方法和装置 |
CN111211948B (zh) * | 2020-01-15 | 2022-05-27 | 太原理工大学 | 基于载荷特征和统计特征的Shodan流量识别方法 |
CN111211948A (zh) * | 2020-01-15 | 2020-05-29 | 太原理工大学 | 基于载荷特征和统计特征的Shodan流量识别方法 |
CN111310796A (zh) * | 2020-01-19 | 2020-06-19 | 中山大学 | 一种面向加密网络流的Web用户点击识别方法 |
CN111310796B (zh) * | 2020-01-19 | 2023-05-02 | 中山大学 | 一种面向加密网络流的Web用户点击识别方法 |
CN112311755A (zh) * | 2020-06-11 | 2021-02-02 | 北京威努特技术有限公司 | 一种工控协议逆向分析方法及装置 |
CN111726264A (zh) * | 2020-06-18 | 2020-09-29 | 中国电子科技集团公司第三十六研究所 | 网络协议变种检测方法、装置、电子设备和存储介质 |
CN111917777A (zh) * | 2020-08-03 | 2020-11-10 | 中国电子科技集团公司第三十六研究所 | 网络数据解析方法、装置和电子设备 |
CN111917777B (zh) * | 2020-08-03 | 2023-04-18 | 中国电子科技集团公司第三十六研究所 | 网络数据解析方法、装置和电子设备 |
CN112073242A (zh) * | 2020-09-08 | 2020-12-11 | 中国人民解放军陆军工程大学 | 一种网络协议模糊测试用例的生成及应用方法 |
CN112367215A (zh) * | 2020-09-21 | 2021-02-12 | 杭州安恒信息安全技术有限公司 | 基于机器学习的网络流量协议识别方法和装置 |
CN112367215B (zh) * | 2020-09-21 | 2022-04-26 | 杭州安恒信息安全技术有限公司 | 基于机器学习的网络流量协议识别方法和装置 |
CN114765634B (zh) * | 2021-01-13 | 2023-12-12 | 腾讯科技(深圳)有限公司 | 网络协议识别方法、装置、电子设备及可读存储介质 |
CN114765634A (zh) * | 2021-01-13 | 2022-07-19 | 腾讯科技(深圳)有限公司 | 网络协议识别方法、装置、电子设备及可读存储介质 |
CN112995184A (zh) * | 2021-03-05 | 2021-06-18 | 中电积至(海南)信息技术有限公司 | 一种多源网络流量内容完整还原方法和装置 |
CN112995184B (zh) * | 2021-03-05 | 2022-07-12 | 中电积至(海南)信息技术有限公司 | 一种多源网络流量内容完整还原方法和装置 |
CN113452672A (zh) * | 2021-05-11 | 2021-09-28 | 国网天津市电力公司电力科学研究院 | 基于协议逆向分析的电力物联网终端流量异常分析方法 |
CN113723440A (zh) * | 2021-06-17 | 2021-11-30 | 北京工业大学 | 一种云平台上加密tls应用流量分类方法及系统 |
CN113723440B (zh) * | 2021-06-17 | 2024-05-07 | 北京工业大学 | 一种云平台上加密tls应用流量分类方法及系统 |
CN113221115A (zh) * | 2021-07-09 | 2021-08-06 | 四川大学 | 基于协同学习的可视化恶意软件检测方法 |
CN114615007A (zh) * | 2022-01-13 | 2022-06-10 | 中国科学院信息工程研究所 | 一种基于随机森林的隧道混合流量分类方法及系统 |
CN114615007B (zh) * | 2022-01-13 | 2023-05-23 | 中国科学院信息工程研究所 | 一种基于随机森林的隧道混合流量分类方法及系统 |
CN114726749A (zh) * | 2022-03-02 | 2022-07-08 | 阿里巴巴(中国)有限公司 | 数据异常检测模型获取方法、装置、设备、介质及产品 |
CN114726749B (zh) * | 2022-03-02 | 2023-10-31 | 阿里巴巴(中国)有限公司 | 数据异常检测模型获取方法、装置、设备及介质 |
CN115514720A (zh) * | 2022-09-19 | 2022-12-23 | 华东师范大学 | 一种面向可编程数据平面的用户活动分类方法及应用 |
CN115514720B (zh) * | 2022-09-19 | 2023-09-19 | 华东师范大学 | 一种面向可编程数据平面的用户活动分类方法及应用 |
CN115426265A (zh) * | 2022-11-02 | 2022-12-02 | 之江实验室 | 一种多模态网络下交换资源分配优化方法及装置、介质 |
US12056533B2 (en) | 2022-11-02 | 2024-08-06 | Zhejiang Lab | Method, apparatus and medium for optimizing allocation of switching resources in polymorphic network |
CN116668186A (zh) * | 2023-07-18 | 2023-08-29 | 哈尔滨工业大学 | 一种基于多视角特征和集成学习的加密代理协议识别的方法 |
CN116668186B (zh) * | 2023-07-18 | 2024-02-02 | 哈尔滨工业大学 | 一种基于多视角特征和集成学习的加密代理协议识别的方法 |
CN116708253B (zh) * | 2023-08-07 | 2023-10-13 | 烽台科技(北京)有限公司 | 设备识别方法、装置、设备及介质 |
CN116708253A (zh) * | 2023-08-07 | 2023-09-05 | 烽台科技(北京)有限公司 | 设备识别方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104270392B (zh) | 2017-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104270392A (zh) | 一种基于三分类器协同训练学习的网络协议识别方法及系统 | |
CN103297427B (zh) | 一种未知网络协议识别方法及系统 | |
WO2020119662A1 (zh) | 一种网络流量分类方法 | |
CN102315974B (zh) | 基于层次化特征分析的tcp、udp流量在线识别方法和装置 | |
Al Khater et al. | Network traffic classification techniques and challenges | |
CN101741744B (zh) | 一种网络流量识别方法 | |
CN104468262B (zh) | 一种基于语义敏感的网络协议识别方法及系统 | |
De Donato et al. | Traffic identification engine: an open platform for traffic classification | |
EP2088742B1 (en) | Method for determining if an encrypted flow of packets belongs to a predefined class of flows | |
CN101645806A (zh) | Dpi和dfi相结合的网络流量分类系统及分类方法 | |
CN110611640A (zh) | 一种基于随机森林的dns协议隐蔽通道检测方法 | |
CN109861957A (zh) | 一种移动应用私有加密协议的用户行为精细化分类方法及系统 | |
Alshammari et al. | Investigating two different approaches for encrypted traffic classification | |
CN112822189A (zh) | 一种流量识别方法及装置 | |
CN107819646A (zh) | 一种分布式传输的网络流量分类系统和方法 | |
CN110868409A (zh) | 一种基于tcp/ip协议栈指纹的操作系统被动识别方法及系统 | |
Lu et al. | Session level flow classification by packet size distribution and session grouping | |
CN110392013A (zh) | 一种基于网络流量分类的恶意软件识别方法、系统及电子设备 | |
CN102611706A (zh) | 一种基于半监督学习的网络协议识别方法及系统 | |
CN109525508A (zh) | 基于流量相似性比对的加密流识别方法、装置及存储介质 | |
Kong et al. | Identification of abnormal network traffic using support vector machine | |
Gómez Sena et al. | Early traffic classification using support vector machines | |
Zhang et al. | Robust network traffic identification with unknown applications | |
Yan et al. | Principal Component Analysis Based Network Traffic Classification. | |
Zhang et al. | Multi-granularity mobile encrypted traffic classification based on fusion features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170926 |