CN102497297A - 基于多核多线程的深度报文检测技术的实现系统和方法 - Google Patents

基于多核多线程的深度报文检测技术的实现系统和方法 Download PDF

Info

Publication number
CN102497297A
CN102497297A CN2011104152584A CN201110415258A CN102497297A CN 102497297 A CN102497297 A CN 102497297A CN 2011104152584 A CN2011104152584 A CN 2011104152584A CN 201110415258 A CN201110415258 A CN 201110415258A CN 102497297 A CN102497297 A CN 102497297A
Authority
CN
China
Prior art keywords
message
cpu
inspection technology
deep packet
packet inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011104152584A
Other languages
English (en)
Inventor
姬乃军
李锋伟
刘朝辉
纪奎
邵宗有
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Beijing Co Ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN2011104152584A priority Critical patent/CN102497297A/zh
Publication of CN102497297A publication Critical patent/CN102497297A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

提供一种基于多核多线程的深度报文检测技术的实现系统和方法，该系统包括多个报文收包缓冲区模块和多个CPU模块，其特征在于，该报文收包缓冲区模块对应于CPU模块，从而实现并行的对所收报文内容的关键词进行精确匹配。所述方法，开辟多个收包缓冲区，将处理缓冲区报文的线程与多个CPU一一绑定，从而实现并行的对所收报文内容的关键词进行精确匹配。提供的基于多核多线程的深度报文检测技术的实现系统和方法，减轻CPU负担，加速深度报文检测处理过程。

Description

基于多核多线程的深度报文检测技术的实现系统和方法
技术领域
本发明属于网络安全技术领域，具体涉及一种基于多核多线程的深度报文检测技术的实现系统和方法。
技术背景
目前深度报文检测技术的实现主要是采用单线程流水作业的方式进行，当处理的数据量非常大时，使得CPU负担很大，且容易出现处理不及时丢包的现象。
专利号CN200710198554.7(深度报文检测设备和方法)公开了一种深度报文检测的设备和方法，该方法包括以下步骤：(a)由网络处理器向深度报文检测设备发送待检测报文数据，包括待检测报文及网络处理器附加的控制信息，该控制信息包括当前待检测关键字信息；(b)深度报文检测设备根据网络处理器发送的待检测报文数据进行检测，当检测到当前待检测关键字时，根据是否进一步检测的配置及下一个关键字信息继续进行检测，直到无法检测到某关键字或检测到所有关键字检测结束，深度报文检测设备记录检测结果；(c)深度报文检测设备返回检测结果给网络处理器。本发明设备和方法可以增强检测功能，并为上层软件处理提供更有力的支持。
专利号CN200710074538.7(一种深度报文检测方法、网络设备及系统)公开了一种深度报文检测方法、网络设备和系统。所述方法包括：接收数据流中的数据报文；判断所述数据报文是否需要检测，如果需要，首先对所述数据报文进行识别；若不能识别所述数据报文，则复制所述数据报文，并将其中一份数据报文发送给深度报文检测装置，即DPI检测装置进行深度报文检测。通过实施本发明，能够解决DPI检测和快速数据转发性能之间的平衡问题，满足了网络运营商对互联网业务感知、控制的需求，节约了网络资源。
基于“特征字”的识别技术是目前一种比较常见的实现深度报文检测技术的方法，它通常会对网卡收到报文的负载逐一进行“特征字”的匹配，根据所匹配到的“特征字”类型，配合当前报文在整个流连接中所处的位置信息，实现业务识别、业务控制、业务统计等功能。由于现有的这种技术会深入报文的负载进行内容检索，造成CPU的占用率很高，处理的效率不高。
发明内容
本发明克服现有技术存在的不足，减轻CPU负担，加速深度报文检测处理过程。
本发明提供了一种基于多核多线程的深度报文检测技术的实现系统，该系统包括多个报文收包缓冲区模块和多个CPU模块，该报文收包缓冲区模块对应于CPU模块，从而实现并行的对所收报文内容的关键词进行精确匹配。
本发明提供的基于多核多线程的深度报文检测技术的实现系统，该系统包括TCP连接的流表模块，用于识别和统计报文协议。
本发明提供的基于多核多线程的深度报文检测技术的实现系统，该TCP连接的流表模块是动态维护的。
本发明还提供了一种基于多核多线程的深度报文检测技术的实现方法，开辟多个收包缓冲区，将处理缓冲区报文的线程与多个CPU一一绑定，从而实现并行的对所收报文内容的关键词进行精确匹配。
本发明提供的基于多核多线程的深度报文检测技术的实现方法，借助TCP连接的流表，实现对报文协议的实时识别和统计。
本发明提供的基于多核多线程的深度报文检测技术的实现方法，TCP连接的流表是动态维护的。
本发明提供的基于多核多线程的深度报文检测技术的实现方法，实现对102种互联网报文协议的实时识别和统计。
本发明提供的基于多核多线程的深度报文检测技术的实现方法，在多核服务器上的专业网卡上开辟多个收包缓冲区。
本发明与当前深度报文检测技术所采取的单线程收包检测的方法不同，利用插在多核服务器上的专业网卡开辟多个收包缓冲区，将处理缓冲区报文的线程与各个CPU一一绑定，从而实现并行的对所收报文内容的关键词进行精确匹配，同时借助动态维护的TCP连接的流表，实现对102种互联网报文协议的实时识别和统计。
与现有技术相比，本发明的有益效果在于：本深度报文检测技术的实现方法，相对于传统方法，能够更加充分地利用多核服务器的计算优势，实现了报文的并行处理，使得处理报文的速度更快，同时利用专业网卡的“零拷贝”优势，将CPU从快速收包的繁复工作中解脱出来，专心进行报文的深度检测，最终使得CPU的负荷更小，适合在大流量的环境下使用。
附图说明
图1是本发明的结构示意图。
具体实施方式
按照图1的结构示意图，该系统包括多个在多核服务器上的专业网卡上开辟的收包缓冲区模块和多个对应的CPU模块，从而并行的对所收报文内容的关键词进行精确匹配。同时借助于动态维护的TCP连接的流表模块，用于102种互联网报文协议的实时识别和统计。
本发明首先在专业网卡上开辟多个收包缓冲区，将处理缓冲区报文的线程与多个CPU一一绑定，从而实现并行的对所收报文内容的关键词进行精确匹配并将匹配结果输出。
之后借助TCP连接的流表，实现对报文协议的实时识别和统计。其中TCP连接的流表是动态维护的而且可以实现对102种互联网报文协议的实时识别和统计。
本发明区别于当前深度报文检测技术所采取的单线程收包检测的方法，利用并行的对所收报文内容的关键词进行精确匹配进程，同时在多核服务器上的专业网卡开辟多个收包缓冲区，将处理缓冲区报文的线程与各个CPU一一绑定。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所述领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者同等替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于多核多线程的深度报文检测技术的实现系统，该系统包括多个报文收包缓冲区模块和多个CPU模块，其特征在于，该报文收包缓冲区模块对应于CPU模块，从而实现并行的对所收报文内容的关键词进行精确匹配。
2.权利要求1的系统，其特征在于该系统包括TCP连接的流表模块，用于识别和统计报文协议。
3.权利要求1-2的系统，其特征在于该TCP连接的流表模块是动态维护的。
4.一种基于多核多线程的深度报文检测技术的实现方法，其特征在于开辟多个收包缓冲区，将处理缓冲区报文的线程与多个CPU一一绑定，从而实现并行的对所收报文内容的关键词进行精确匹配。
5.权利要求4的方法，其特征在于借助TCP连接的流表，实现对报文协议的实时识别和统计。
6.权利要求4-5的方法，其特征在于TCP连接的流表是动态维护的。
7.权利要求4-6的方法，其特征在于实现对102种互联网报文协议的实时识别和统计。
8.权利要求4-7的方法，其特征在于在多核服务器上的专业网卡上开辟多个收包缓冲区。
CN2011104152584A 2011-12-13 2011-12-13 基于多核多线程的深度报文检测技术的实现系统和方法 Pending CN102497297A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011104152584A CN102497297A (zh) 2011-12-13 2011-12-13 基于多核多线程的深度报文检测技术的实现系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011104152584A CN102497297A (zh) 2011-12-13 2011-12-13 基于多核多线程的深度报文检测技术的实现系统和方法

Publications (1)

Publication Number Publication Date
CN102497297A true CN102497297A (zh) 2012-06-13

Family

ID=46189085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011104152584A Pending CN102497297A (zh) 2011-12-13 2011-12-13 基于多核多线程的深度报文检测技术的实现系统和方法

Country Status (1)

Country Link
CN (1) CN102497297A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103618641A (zh) * 2013-11-25 2014-03-05 北京邮电大学 一种基于众核网络处理器并可快速部署的数据包检测监控系统
CN103888321A (zh) * 2014-04-14 2014-06-25 中国人民解放军信息工程大学 一种数据流检测方法及多核处理设备
CN104104557A (zh) * 2014-06-24 2014-10-15 北京天融信科技股份有限公司 面向IPv6安全网关的深度包检测装置
CN105159779A (zh) * 2015-08-17 2015-12-16 深圳中兴网信科技有限公司 提高多核cpu数据处理性能的方法和系统
CN105339934A (zh) * 2014-05-22 2016-02-17 华为技术有限公司 一种报文处理方法及装置
CN106506351A (zh) * 2015-09-07 2017-03-15 中兴通讯股份有限公司 一种基于多处理单元的报文采样方法和装置
CN106972985A (zh) * 2017-03-29 2017-07-21 网宿科技股份有限公司 加速dpi设备数据处理与转发的方法和dpi设备
CN109412893A (zh) * 2018-10-23 2019-03-01 新华三信息安全技术有限公司 一种报文回放方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101296114A (zh) * 2007-04-29 2008-10-29 国际商业机器公司 基于流的并行模式匹配方法和系统
US20090138471A1 (en) * 2006-11-24 2009-05-28 Hangzhou H3C Technologies Co., Ltd. Method and apparatus for identifying data content
CN101540727A (zh) * 2009-05-05 2009-09-23 曙光信息产业(北京)有限公司 一种ip报文的硬件分流方法
CN101605018A (zh) * 2009-06-17 2009-12-16 中兴通讯股份有限公司 一种基于流的深度报文检测协议解码方法、设备及系统
US20100189004A1 (en) * 2009-01-23 2010-07-29 Neuralitic Systems Method and system for context aware deep packet inspection in ip based mobile data networks
CN102064977A (zh) * 2010-11-10 2011-05-18 中国人民解放军国防科学技术大学 基于gpu的高速网络报文内容检测方法
CN102075404A (zh) * 2009-11-19 2011-05-25 华为技术有限公司 一种报文检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090138471A1 (en) * 2006-11-24 2009-05-28 Hangzhou H3C Technologies Co., Ltd. Method and apparatus for identifying data content
CN101296114A (zh) * 2007-04-29 2008-10-29 国际商业机器公司 基于流的并行模式匹配方法和系统
US20100189004A1 (en) * 2009-01-23 2010-07-29 Neuralitic Systems Method and system for context aware deep packet inspection in ip based mobile data networks
CN101540727A (zh) * 2009-05-05 2009-09-23 曙光信息产业(北京)有限公司 一种ip报文的硬件分流方法
CN101605018A (zh) * 2009-06-17 2009-12-16 中兴通讯股份有限公司 一种基于流的深度报文检测协议解码方法、设备及系统
CN102075404A (zh) * 2009-11-19 2011-05-25 华为技术有限公司 一种报文检测方法及装置
CN102064977A (zh) * 2010-11-10 2011-05-18 中国人民解放军国防科学技术大学 基于gpu的高速网络报文内容检测方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103618641A (zh) * 2013-11-25 2014-03-05 北京邮电大学 一种基于众核网络处理器并可快速部署的数据包检测监控系统
CN103618641B (zh) * 2013-11-25 2017-01-11 北京邮电大学 一种基于众核网络处理器并可快速部署的数据包检测监控系统
CN103888321A (zh) * 2014-04-14 2014-06-25 中国人民解放军信息工程大学 一种数据流检测方法及多核处理设备
CN103888321B (zh) * 2014-04-14 2017-05-24 中国人民解放军信息工程大学 一种数据流检测方法及多核处理设备
CN105339934A (zh) * 2014-05-22 2016-02-17 华为技术有限公司 一种报文处理方法及装置
CN105339934B (zh) * 2014-05-22 2018-10-19 华为技术有限公司 一种报文处理方法及装置
CN104104557B (zh) * 2014-06-24 2017-03-22 北京天融信科技有限公司 面向IPv6安全网关的深度包检测装置
CN104104557A (zh) * 2014-06-24 2014-10-15 北京天融信科技股份有限公司 面向IPv6安全网关的深度包检测装置
CN105159779A (zh) * 2015-08-17 2015-12-16 深圳中兴网信科技有限公司 提高多核cpu数据处理性能的方法和系统
CN105159779B (zh) * 2015-08-17 2020-03-13 深圳中兴网信科技有限公司 提高多核cpu数据处理性能的方法和系统
WO2017041509A1 (zh) * 2015-09-07 2017-03-16 中兴通讯股份有限公司 一种基于多处理单元的报文采样方法和装置
CN106506351A (zh) * 2015-09-07 2017-03-15 中兴通讯股份有限公司 一种基于多处理单元的报文采样方法和装置
CN106972985A (zh) * 2017-03-29 2017-07-21 网宿科技股份有限公司 加速dpi设备数据处理与转发的方法和dpi设备
CN106972985B (zh) * 2017-03-29 2020-09-18 网宿科技股份有限公司 加速dpi设备数据处理与转发的方法和dpi设备
CN109412893A (zh) * 2018-10-23 2019-03-01 新华三信息安全技术有限公司 一种报文回放方法及装置

Similar Documents

Publication Publication Date Title
CN102497297A (zh) 基于多核多线程的深度报文检测技术的实现系统和方法
CN107911237B (zh) 一种基于dpdk的用户空间内数据包快速检测方法
US9356844B2 (en) Efficient application recognition in network traffic
CN103312565B (zh) 一种基于自主学习的对等网络流量识别方法
EP3321821B1 (en) Big data exchange method and device
CN102377640B (zh) 一种报文处理装置和报文处理方法、及预处理器
CN103686345A (zh) 一种基于数字信号处理器的视频内容比对方法
CN103067218B (zh) 一种高速网络数据包内容分析装置
CN103475653A (zh) 网络数据包的检测方法
CN101119246A (zh) 数据包抽样统计的方法及装置
CN102546363A (zh) 一种报文处理方法、装置及设备
CN106789242A (zh) 一种基于手机客户端软件动态特征库的识别应用智能分析引擎
CN101945116A (zh) 一种跨域视频数据安全交换方法
CN110855493A (zh) 用于混合环境的应用拓扑图绘制装置
CN103248606A (zh) 一种面向IPv4和IPv6的网络病毒检测方法及系统
CN101442490B (zh) 流量负载均衡处理方法
CN103888364A (zh) 报文分流方法及设备
CN107592554A (zh) 直播视频转发方法及装置
CN101815015B (zh) 面向内容的网络流量快速安检引擎
CN101102184A (zh) 宽带接入服务器及用于宽带接入服务器的高速dpi单板装置
CN100493042C (zh) 可扩展路由器系统控制平面中高性能的节点间通信方法
CN108289165B (zh) 一种基于手机控制相机的实现方法、装置及终端设备
CN111131243B (zh) Dpi系统策略处理方法及装置
CN209690900U (zh) Mipi数据处理电路
CN103999435A (zh) 用于高效的网络地址转换和应用层网关处理的装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120613