CN101764754A - 基于dpi和dfi的业务识别系统中的样本获取方法 - Google Patents
基于dpi和dfi的业务识别系统中的样本获取方法 Download PDFInfo
- Publication number
- CN101764754A CN101764754A CN 200910264577 CN200910264577A CN101764754A CN 101764754 A CN101764754 A CN 101764754A CN 200910264577 CN200910264577 CN 200910264577 CN 200910264577 A CN200910264577 A CN 200910264577A CN 101764754 A CN101764754 A CN 101764754A
- Authority
- CN
- China
- Prior art keywords
- module
- dfi
- message
- sample
- staupload
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公布了一种基于DPI和DFI的业务识别系统中的样本获取方法，本发明方法如下：主框架模块(MainFrame)模块获取DFI样本需要的报文相关信息，包括三层、四层信息，然后按既定逻辑调用各个子模块；协议分析模块(ProtocolAly)按照既定的规则进行应用协议的解析；认证模块(Auth)模块处理用户认证相关，同时也处理portal认证；上报(StaUpload)模块统计DFI样本需要的分类向量信息，将统计信息和(或)报文上报；控制(Nmfilter)模块实现FORWARD点上的报文控制；消息处理(ProcessMsg)模块负责用户信息的配置，和应用层数据的最终交互。
Description
技术领域
本发明涉及一种基于DPI和DFI的业务识别系统中的样本获取方法，属于业务识别系统中机器自学习领域。
背景技术
参考专利 授权公告号：CN200980090Y
目前基于TCP/IP技术的Internet正向纵深方向发展。一方面，新一代的基础设施已经或正在部署，新的技术不断发展，新的应用模式和应用需求不断涌现；另一方面，Internet也在其飞速发展的过程中，向人们提出了一系列的挑战，其中的关键问题在于：如何更好地提供服务质量保证，如何来避免异常流量对网络的影响。
与Internet的飞速发展相比，对网络行为的研究比较少。Internet中存在大量的应用，每个应用都有自己的流量行为特征并且新的应用还在不断涌现。如何对这些流量进行分类并识别新的应用是个值得研究的问题。为解决上述问题，网络流量分析应运而生，几乎所有与网络相关的活动都是与网络流量联系在一起的。网络流量是记录和反映网络及其用户活动的重要载体。网络流量的行为时网络行为的重要组成部分，通过对网络流量的统计分析，可以间接掌握网络的统计行为。
目前，主流的网络协议分析技术是DPI(Deep Packet Inspection，深度包检测)，它克服了传统的IP包流量识别技术仅对IP包头中的“五元组”信息进行分析来确定当前流量基本信息的缺点。当前所采用的流量分类方法主要有：端口号映射、有效载荷分析。
机器学习是现代人工智能技术中的一个重要研究内容和方向，其主要研究时从观测数据(样本)出发寻找规律，并利用这些规律来对未来数据或无法观测的数据进行预测。基于统计学习理论的机器学习模型，即分类模型的建立和分类。首先采用训练数据(样本)建立分类模型；然后基于该模型产生一个分类器并对未知数据集进行分类。
发明内容
本发明目的是针对目前现有DPI网络流量分类识别存在的缺陷提供一种基于DPI和DFI的业务识别系统中的样本获取方法。
本发明为实现上述目的，采用如下技术方案：
本发明基于DPI和DFI的业务识别系统中的样本获取方法，其特征在于所述方法基于内核模式下的SampleAcq模块，SampleAcq模块包括MainFrame模块、ProcessMsg模块、StaUpload模块、ProtocolAly模块、Nmfilter模块和Auth模块，其中MainFrame模块分别与ProcessMsg模块、StaUpload模块、ProtocolAly模块、Nmfilter模块和Auth模块通信，ProcessMsg模块分别与UsrPro模块和DFISample模块双向通信，ProcessMsg模块与StaUpload模块双向通信；所述样本获取方法如下：
MainFrame模块即主框架模块：对报文进行预处理，丢弃异常报文，正常报文进入Nmfilter模块进行处理；
Nmfilter模块：报文进入Netfilter模块的FORWARD点后，进入SampleAcq系统处理，实现FORWARD点上的报文控制：如果报文是基于常用端口的，则进入Auth模块后，直接进入StaUpload模块收集DFI需要的分类向量；
Auth模块：处理用户认证相关事宜，并决定该报文的认证状态；Auth模块向主框架模块注册用户认证、消息处理的回调函数，回调函数的形式由主框架模块提供；
ProtocolAly模块：根据预先定义好的规则，进行应用层协议的识别；
StaUpload模块：根据DFI分类器训练集需要的向量，从流中提取相应的向量；统计DFI样本需要的分类向量信息，将统计信息或报文上报；
ProcessMsg模块：负责用户信息的配置和应用层数据的最终交互，将StaUpload模块上报的统计信息提取并填入到DFI样本所定义的结构体中，推送到DFISample模块；
所述的基于DPI和DFI的业务识别系统中的样本获取方法，其特征在于所述DFISample模块是按照DFI训练器要求的格式规定的样本格式。
所述的基于DPI和DFI的业务识别系统中的样本获取方法，其特征在于所述Auth模块向主框架模块注册用户认证，以流为单位进行认证即同一个流只有第一个报文需要进行认证。
所述的基于DPI和DFI的业务识别系统中的样本获取方法，其特征在于所述ProtocolAly模块由应用分析核心子模块和各个具体协议分析模块构成，每个数据包进入协议分析模块后，遍历“协议处理”链表，找到需要处理该数据的链表结点，并调用相应的函数处理，处理完后置上相应的tag值。
本发明具有以下有益效果：采用本发明，为DFI训练器提供需要的训练样本，可以克服传统的DPI分类方法带来的弊端，提高分类精度。
附图说明
图1是本发明在整个系统中的位置。
图2是本发明的逻辑连接图。
图3是本发明方法的样本获取和DFI分类的三个阶段。
图4是本发明在DFI分类系统中的示图。
具体实施方式
下面结合附图对发明的技术方案进行详细说明：
下面结合附图对发明的技术方案进行详细说明：
从图1和图2所示的结构框图中，可以看出SampleAcq模块和SampleAcq模块内各子模块的连接方式。
现详细叙述DFI训练器样本集的获取过程：
Internet→计算机端口→MainFrame模块→Nmfilter模块→Auth模块→ProtocolAly模块→StaUpload模块→ProcessMsg模块→DFISample模块。DFISample模块是按照DFI训练器要求的格式规定的样本格式。
当现实环境中的网络流进入计算机端口后，本系统首先调用主框架模块MainFrame对流进行预处理，丢弃异常流，正常流进入Nmfilter模块处理。如果Nmfilter判决为报文流，且属于常用端口的报文流，则Nmfilter模块→Auth模块→StaUpload模块→ProcessMsg模块；如果不属于常用端口流，则Nmfilter模块→Auth模块→ProtocolAly模块→StaUpload模块→ProcessMsg模块；如果Nmfilter判决为控制流，则相应用户配置信息，首先触发ProcessMsg模块处理，再进入MainFrame模块按消息类型进行分发。每个子模块都已经对自己感兴趣的消息注册了处理函数，同一个消息可以被多个子模块捕获，此处消息处理类似于Linux的中断处理。
报文进入Auth模块后，具体的处理流程如下：
1.查看该报文是否需要认证，如果不需要认证，则直接返回相应的返回值。
2.需要认证的话，获取报文的Mac和IP；
3.查找全局认证表，如果不需要认证则返回，否则继续4.
4.查找MAC认证的HASH表、IP认证的HASH表、IP地址范围认证的HASH表，查找按照两类优先级进行：一类是用户属性，黑名单＞白名单＞普通用户，一类是认证方式，MAC＞IP_RANGE＞IP，用户属性优先，如果找到，则置上相应的状态，否则转5.
5.置状态为需要认证，但此处有一个例外，即如果设置了未认证用户允许上网，则设置状态为认证通过。
报文进入ProtocolAly模块后，根据预先定义好的规则，进行应用层协议的识别。由应用分析核心子模块和各个具体协议分析模块构成。具体协议子模块可处理多个协议，尽可能的处理一组相关的协议，具体协议子模块尽量独立，从代码的角度来讲就是所有的变量和函数尽量为static。每个数据包进入协议分析模块后，会遍历这个“协议处理”链表，找到需要处理该数据的链表结点，并调用相应的函数处理，处理完后置上相应的tag值，并过滤掉不需要的流向量，保留DFI训练器需要的向量。然后进处理过的流进入StaUpload模块，提取DFI训练器需要的向量，统计相关信息，并将相应信息上报给ProcessMsg模块，此时将统计信息提取并填入到DFI样本所定义的结构体中，推送到DFISample模块。获得DFI分类器需要的训练样本。样本获取和DFI分类的三个阶段如图3所示。
图4是本发明在DFI分类系统中的示图。
采用本发明，通过SampleAcq模块及其各个子模块获取DFI训练器提供需要的训练样本，可以克服传统的DPI分类方法带来的弊端，提高分类精度。
Claims (4)
1.一种基于DPI和DFI的业务识别系统中的样本获取方法，其特征在于所述方法基于内核模式下的SampleAcq模块，SampleAcq模块包括MainFrame模块、ProcessMsg模块、StaUpload模块、ProtocolAly模块、Nmfilter模块和Auth模块，其中MainFrame模块分别与ProcessMsg模块、StaUpload模块、ProtocolAly模块、Nmfilter模块和Auth模块通信，ProcessMsg模块分别与UsrPro模块和DFISample模块双向通信，ProcessMsg模块与StaUpload模块双向通信；所述样本获取方法如下：
MainFrame模块即主框架模块：对报文进行预处理，丢弃异常报文，正常报文进入Nmfilter模块进行处理；
Nmfilter模块：报文进入Netfilter模块的FORWARD点后，进入SampleAcq系统处理，实现FORWARD点上的报文控制：如果报文是基于常用端口的，则进入Auth模块后，直接进入StaUpload模块收集DFI需要的分类向量；
Auth模块：处理用户认证相关事宜，并决定该报文的认证状态；Auth模块向主框架模块注册用户认证、消息处理的回调函数，回调函数的形式由主框架模块提供；
ProtocolAly模块：根据预先定义好的规则，进行应用层协议的识别；
StaUpload模块：根据DFI分类器训练集需要的向量，从流中提取相应的向量；统计DFI样本需要的分类向量信息，将统计信息或报文上报；
ProcessMsg模块：负责用户信息的配置和应用层数据的最终交互，将StaUpload模块上报的统计信息提取并填入到DFI样本所定义的结构体中，推送到DFISample模块；
2.根据权利要求1所述的基于DPI和DFI的业务识别系统中的样本获取方法，其特征在于所述DFISample模块是按照DFI训练器要求的格式规定的样本格式。
3.根据权利要求1所述的基于DPI和DFI的业务识别系统中的样本获取方法，其特征在于所述Auth模块向主框架模块注册用户认证，以流为单位进行认证即同一个流只有第一个报文需要进行认证。
4.根据权利要求1所述的基于DPI和DFI的业务识别系统中的样本获取方法，其特征在于所述ProtocolAly模块由应用分析核心子模块和各个具体协议分析模块构成，每个数据包进入协议分析模块后，遍历“协议处理”链表，找到需要处理该数据的链表结点，并调用相应的函数处理，处理完后置上相应的tag值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200910264577 CN101764754B (zh) | 2009-12-28 | 2009-12-28 | 基于dpi和dfi的业务识别系统中的样本获取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200910264577 CN101764754B (zh) | 2009-12-28 | 2009-12-28 | 基于dpi和dfi的业务识别系统中的样本获取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101764754A true CN101764754A (zh) | 2010-06-30 |
| CN101764754B CN101764754B (zh) | 2012-07-25 |
Family
ID=42495746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200910264577 Expired - Fee Related CN101764754B (zh) | 2009-12-28 | 2009-12-28 | 基于dpi和dfi的业务识别系统中的样本获取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101764754B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103312565A (zh) * | 2013-06-28 | 2013-09-18 | 南京邮电大学 | 一种基于自主学习的对等网络流量识别方法 |
| CN108183834A (zh) * | 2017-12-04 | 2018-06-19 | 中国联合网络通信集团有限公司 | 一种基于dfi和dpi的网络流量管控方法及管控系统 |
| CN111490945A (zh) * | 2019-01-29 | 2020-08-04 | 上海汉澄电子设备有限公司 | 一种基于深度学习方法和dfi的vpn隧道流量识别方法 |
| CN112995145A (zh) * | 2021-02-05 | 2021-06-18 | 中国科学院信息工程研究所 | 面向dpi应用的http流量分析处理的方法、系统及存储介质 |
| CN113382039A (zh) * | 2021-05-07 | 2021-09-10 | 中国科学院信息工程研究所 | 一种基于5g移动网络流量分析的应用识别方法和系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101399749B (zh) * | 2007-09-27 | 2012-04-04 | 华为技术有限公司 | 一种报文过滤的方法、系统和设备 |
| CN101488946A (zh) * | 2008-01-16 | 2009-07-22 | 华为技术有限公司 | 报文检测方法及系统 |
| CN101605067B (zh) * | 2009-04-22 | 2011-09-21 | 网经科技（苏州）有限公司 | 网络行为主动分析诊断方法 |
-
2009
- 2009-12-28 CN CN 200910264577 patent/CN101764754B/zh not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103312565A (zh) * | 2013-06-28 | 2013-09-18 | 南京邮电大学 | 一种基于自主学习的对等网络流量识别方法 |
| CN103312565B (zh) * | 2013-06-28 | 2015-12-23 | 南京邮电大学 | 一种基于自主学习的对等网络流量识别方法 |
| CN108183834A (zh) * | 2017-12-04 | 2018-06-19 | 中国联合网络通信集团有限公司 | 一种基于dfi和dpi的网络流量管控方法及管控系统 |
| CN108183834B (zh) * | 2017-12-04 | 2019-05-21 | 中国联合网络通信集团有限公司 | 一种基于dfi和dpi的网络流量管控方法及管控系统 |
| CN111490945A (zh) * | 2019-01-29 | 2020-08-04 | 上海汉澄电子设备有限公司 | 一种基于深度学习方法和dfi的vpn隧道流量识别方法 |
| CN112995145A (zh) * | 2021-02-05 | 2021-06-18 | 中国科学院信息工程研究所 | 面向dpi应用的http流量分析处理的方法、系统及存储介质 |
| CN113382039A (zh) * | 2021-05-07 | 2021-09-10 | 中国科学院信息工程研究所 | 一种基于5g移动网络流量分析的应用识别方法和系统 |
| CN113382039B (zh) * | 2021-05-07 | 2023-01-13 | 中国科学院信息工程研究所 | 一种基于5g移动网络流量分析的应用识别方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101764754B (zh) | 2012-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104270392B (zh) | 一种基于三分类器协同训练学习的网络协议识别方法及系统 | |
| CN102315974B (zh) | 基于层次化特征分析的tcp、udp流量在线识别方法和装置 | |
| CN102523241B (zh) | 基于决策树高速并行处理的网络流量在线分类方法及装置 | |
| CN102035698B (zh) | 基于决策树分类算法的http隧道检测方法 | |
| CN102271090B (zh) | 基于传输层特征的流量分类方法及装置 | |
| CN101645806B (zh) | Dpi和dfi相结合的网络流量分类系统及分类方法 | |
| CN101741744B (zh) | 一种网络流量识别方法 | |
| CN102937951B (zh) | 建立ip地址分类模型的方法、对用户分类的方法及装置 | |
| CN106341337B (zh) | 一种sdn下可实现应用感知的流量检测与控制机构及方法 | |
| CN105871832A (zh) | 一种基于协议属性的网络应用加密流量识别方法及其装置 | |
| CN106789242A (zh) | 一种基于手机客户端软件动态特征库的识别应用智能分析引擎 | |
| CN102739457B (zh) | 一种基于dpi和svm技术的网络流量识别方法 | |
| CN109284606A (zh) | 基于经验特征与卷积神经网络的数据流异常检测系统 | |
| CN105281973A (zh) | 一种针对特定网站类别的网页指纹识别方法 | |
| CN105141455B (zh) | 一种基于统计特征的有噪网络流量分类建模方法 | |
| CN102420723A (zh) | 一种面向多类入侵的异常检测方法 | |
| CN101764754B (zh) | 基于dpi和dfi的业务识别系统中的样本获取方法 | |
| CN101510873B (zh) | 基于支持向量机的混合式点对点流量检测方法 | |
| CN109299742A (zh) | 自动发现未知网络流的方法、装置、设备及存储介质 | |
| CN107404398A (zh) | 一种网络用户行为判别系统 | |
| CN110266603B (zh) | 基于http协议的身份认证业务网络流量分析系统及方法 | |
| Liu et al. | Dynamic traffic classification algorithm and simulation of energy Internet of things based on machine learning | |
| CN114598499A (zh) | 结合业务应用的网络风险行为分析方法 | |
| CN104021348A (zh) | 一种隐匿p2p程序实时检测方法及系统 | |
| CN105429817A (zh) | 基于dpi和dfi的非法业务识别装置与方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120725 Termination date: 20121228 |