CN1561032A - 一种入侵检测的多线程负载均衡方法 - Google Patents
一种入侵检测的多线程负载均衡方法 Download PDFInfo
- Publication number
- CN1561032A CN1561032A CNA2004100059213A CN200410005921A CN1561032A CN 1561032 A CN1561032 A CN 1561032A CN A2004100059213 A CNA2004100059213 A CN A2004100059213A CN 200410005921 A CN200410005921 A CN 200410005921A CN 1561032 A CN1561032 A CN 1561032A
- Authority
- CN
- China
- Prior art keywords
- thread
- packet
- load
- intrusion detection
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 230000009545 invasion Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000000151 deposition Methods 0.000 claims description 2
- 238000003491 array Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及网络安全技术领域的一种入侵检测的多线程负载均衡方法。通过采用流水线式的多线程并发处理，网络入侵检测的主要步骤：S1，抓包线程循环从网络中捕获数据包；S2，各个检测线程循环读取相应队列中的数据包，进行规则匹配，并将匹配的数据包放入告警队列；S3，告警线程循环读取告警队列中的数据包，并告警输出。以多个线程代替多个探测器，大大提高了系统资源的利用率，从而使采用这种方法的系统在检测性能上有了很大的提高。同时若将这种模式与传统的两种负载均衡方法相结合，则能更有效地分担整个系统的负载，减少可能出现的系统瓶颈，提高系统整体效率，使其更能适应高速网络环境下的入侵检测需要。
Description
技术领域
本发明涉及网络安全技术领域，特别是一种入侵检测的多线程负载均衡方法。尤其是一种针对基于特征分析的网络入侵检测的多线程负载均衡方法。
背景技术
自从Denning在1987年提出第一个入侵检测系统模型以来，入侵检测技术得到了快速的发展。随着近几年网络的普及，网络入侵检测已逐渐取代基于主机的检测而成为入侵检测研究的主流。网络入侵检测系统(NIDS)通过分析网络流量来实现对攻击的检测。由于网络技术和网络应用的迅速发展使得网络上的数据流量不断加大，网络带宽飞速提高，传统的10Mbps网络已迅速被100Mbps、1000Mbps网络所取代，在如此高速的环境下，要将网络中全部数据包都截获下来，并做复杂的入侵检测分析，传统的入侵检测技术已显得越来越力不从心。
为了实现对高速网络特别是1000Mbps网络环境下的实时入侵检测，大量的网络数据分析是不可避免的。当待分析数据的产生速度超过处理能力时，必然导致数据来不及分析就丢弃。由此引出NIDS中的负载问题，它成为制约NIDS性能的瓶颈之一。因此，对网络入侵检测系统实现负载均衡，已成为网络入侵检测系统适应高速网络的一个主要研究方向。
单位时间内需要处理的数据包的数量、规则库的规模是影响入侵检测系统性能的两大主要因素。现有针对入侵检测的负载均衡方法主要围绕这两个因素进行研究。它的主要思路如图1所示：控制中心(center)根据网络数据流量、各探测器实际处理能力等因素，将待完成负载量按一定方案分担给各探测器(sensor)，由各探测器实施对网络数据的入侵检测。这里的负载量可以是检测规则库中的规则或者网络中的数据包。根据所分担负载量的种类不同，目前的负载均衡方法分为以下两种：
·基于规则的多探测器负载均衡法。在该方法中，控制中心分担给各探测器的负载量就是入侵检测规则，每个探测器负责一部分检测规则。当出现某些探测器来不及处理数据时，可以通过增加探测器的数量或者由控制中心动态地调整各探测器的检测规则数以实现负载均衡。
·基于应用的多探测器负载均衡法。在该方法中，控制中心将不同种类(http包、telnet包、ftp包、udp包等)的数据包作为负载量，分担给各探测器。每个探测器只负责某一类(或几类)具体应用网络流量的检测，它们维护的检测规则也仅仅针对某些具体应用。当出现某些探测器来不及处理数据时，可通过增加探测器的数量，达到负载均衡目的。
以上两种方法通过增加探测器来分担负载量，在一定程度上达到负载均衡，以适应高速网络。但是，它们基本上只是通过简单的增加硬件资源来完成所有的检测工作，而没从入侵检测系统本身的优化入手。每个探测器上检测原理基本相同，因此检测系统原有的瓶颈在这里依然存在。每个探测器上进行入侵检测的流程如图2所示：由图中可以看出，系统对截获的每一个数据包都要经过解析→规则匹配→告警输出这个过程，然后系统才会去截获下一个数据包。然而，这三个步骤都有可能成为系统的瓶颈。当系统因为在任何一步的处理出现瓶颈后，都将导致系统不能截获后面的数据包，出现严重的丢包现象，导致系统出现极高的漏报率。
发明内容
本发明的目的在于提供一种入侵检测的多线程负载均衡方法。
本发明的主要目的就是打破传统的串行检测模式，采用流水线式的多线程并发处理，同时结合入侵检测的负载均衡方法，实现入侵检测的多线程负载均衡。
传统入侵检测模式为串行检测模式，本发明改串行为并发。将基本入侵检测流程中的三个步骤：抓包、检测、告警分别由三类线程并发执行，各线程只完成各自功能，线程间通过相应队列实现通信。从而大大提高了抓包、检测、告警速度，消除了这三个过程给系统造成的瓶颈。
本发明结合传统负载均衡方法，将检测类线程按数据包种类进行分类，每个线程只负责维护一类检测规则，检测一类数据包。从而使多个线程可同时处理不同类的数据包，有效地分担了整个系统的负载，提高了系统的整体效率。
发明技术方案
本发明采用流水线式的多线程并发处理并结合负载均衡的方式实现网络入侵检测。
将基本入侵检测流程中的三个步骤分别由三类线程并发执行，各线程只完成各自功能，线程间通过相应队列实现通信。
把传统负载均衡方法与多线程结合，传统负载均衡方法中的探测器由线程代替，各线程维护自己的规则，并行的进行相互独立的入侵检测。
附图说明
图1是网络入侵检测系统的负载均衡法示意图。
图2是入侵检测系统流程图。
图3是本发明的基于多线程的负载均衡法实现框图。
图4是本发明的基于多线程负载均衡法的入侵检测流程图。
具体实施方式
本发明通过多线程并发执行来实现网络入侵检测系统的负载均衡。具体实现框图如图3所示。
本发明实现的主要步骤如下：
首先，进行初始化工作，打开网络接口，准备截获网络数据包。
线程1：抓包线程，相当于控制中心。从网络中截获数据包，
根据数据包的种类(HTTP、TELNET、ICMP等)放
入相应的队列1、2…n-2；
线程2、3…n-1：检测线程，相当于各个探测器。读取各自
维护的规则文件，建立相应的规则链表，然后从各自
队列中读取数据包进行解析、规则匹配，最后将需要
告警的数据包放入队列n-1；
线程n：告警线程。读取队列n-1中的数据包，告警输出。
三类线程的整体实现流程图见图4。其中步骤S1，抓包线程：由抓包线程循环从网络中捕获数据包，抓包线程采用旁路监听的方式使用常用的抓包库实现网络抓包，并根据数据包种类，把捕获的数据包分类放入对应的检测队列。该线程将循环实现抓包、分类两个操作；步骤S2，检测线程：由各个检测线程循环读取各自检测队列中的数据包，采用常用的模式匹配算法与预先设定的规则进行匹配，并将匹配成功的数据包放入告警队列。该线程将循环实现读取数据包、匹配、存储数据包三个操作；步骤S3，告警线程：由告警线程循环告警线程读取告警队列中的数据包，并将数据包的主要信息通过存入数据库方式告警输出。该线程将循环实现读取数据包、告警输出两个操作。通过这种方式，就将串行的抓包、检测、告警三步骤变成了并发执行，从而大大提高了抓包、检测、告警速度，消除了这三个步骤给系统造成的瓶颈。
我们提出的基于多线程的负载均衡技术打破了传统的抓包→解包→规则匹配→告警输出→抓下一个包→……的串行处理方式，采用流水线式的并发处理，各个线程只完成各自的功能，同时结合现有负载均衡方法，多线程对应多探测器，大大提高了系统资源的利用率，从而使采用这种方式的系统在检测性能上有了很大的提高。同时若将这种模式与前两种负载均衡方法相结合，则能更有效地分担整个系统的负载，消除可能出现的系统瓶颈，提高了系统整体效率，使其更能适应高速网络发展的需要。
本发明的方法以多线程并发的方式实现，并结合传统网络入侵检测的负载均衡方法，以多个线程代替多个探测器，大大提高了系统资源的利用率，从而使采用这种方法的系统在检测性能上有了很大的提高。同时若将这种模式与传统的两种负载均衡方法相结合，则能更有效地分担整个系统的负载，减少可能出现的系统瓶颈，提高系统整体效率，使其更能适应高速网络环境下的入侵检测需要。
Claims (4)
1.一种用于入侵检测的多线程负载均衡方法，其特征在于，采用流水线式的多线程并发处理并结合负载均衡的方式实现网络入侵检测。
2.根据权利要求1所述的用于入侵检测的多线程负载均衡方法，其特征在于，将基本入侵检测流程中的三个步骤分别由三类线程并发执行，各线程只完成各自功能，线程间通过相应队列实现通信。
3.根据权利要求1所述的用于入侵检测的多线程负载均衡方法，其特征在于，把传统负载均衡方法与多线程结合，传统负载均衡方法中的探测器由线程代替，各线程维护自己的规则，并行的进行相互独立的入侵检测。
4.根据权利要求1的入侵检测的多线程负载均衡方法，其特征在于，包括如下具体步骤：
步骤S1：由抓包线程循环从网络中捕获数据包，并根据数据包种类，把捕获的数据包分类放入对应的检测队列；
步骤S2：由各个检测线程循环读取相应队列中的数据包，与预先设定的规则进行匹配，并将匹配成功的数据包放入告警队列；
步骤3：由告警线程循环读取告警队列中的数据包，并将数据包的主要信息通过存入数据库方式告警输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200410005921 CN1282333C (zh) | 2004-02-24 | 2004-02-24 | 一种入侵检测的多线程负载均衡方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200410005921 CN1282333C (zh) | 2004-02-24 | 2004-02-24 | 一种入侵检测的多线程负载均衡方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1561032A true CN1561032A (zh) | 2005-01-05 |
| CN1282333C CN1282333C (zh) | 2006-10-25 |
Family
ID=34439696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200410005921 Expired - Fee Related CN1282333C (zh) | 2004-02-24 | 2004-02-24 | 一种入侵检测的多线程负载均衡方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1282333C (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101299758B (zh) * | 2008-05-21 | 2011-05-11 | 网御神州科技（北京）有限公司 | 一种大规模事件处理的规则群组系统及处理方法 |
| CN101729573B (zh) * | 2009-12-18 | 2012-05-30 | 四川长虹电器股份有限公司 | 网络入侵检测的动态负载均衡方法 |
| CN101772918B (zh) * | 2007-08-03 | 2013-02-13 | 思科技术公司 | 服务链的操作、管理和维护(oam) |
| CN101060411B (zh) * | 2007-05-23 | 2013-04-03 | 西安交大捷普网络科技有限公司 | 可提高入侵检测系统检测速率和效率的多模匹配方法 |
| CN106792856A (zh) * | 2016-12-27 | 2017-05-31 | 武汉虹信通信技术有限责任公司 | 一种基于设备级并行度的无线网元管理系统告警处理方法 |
| CN113626198A (zh) * | 2021-08-19 | 2021-11-09 | 上海观安信息技术股份有限公司 | 一种数据库流量负载均衡系统及方法 |
-
2004
- 2004-02-24 CN CN 200410005921 patent/CN1282333C/zh not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101060411B (zh) * | 2007-05-23 | 2013-04-03 | 西安交大捷普网络科技有限公司 | 可提高入侵检测系统检测速率和效率的多模匹配方法 |
| CN101772918B (zh) * | 2007-08-03 | 2013-02-13 | 思科技术公司 | 服务链的操作、管理和维护(oam) |
| CN101299758B (zh) * | 2008-05-21 | 2011-05-11 | 网御神州科技（北京）有限公司 | 一种大规模事件处理的规则群组系统及处理方法 |
| CN101729573B (zh) * | 2009-12-18 | 2012-05-30 | 四川长虹电器股份有限公司 | 网络入侵检测的动态负载均衡方法 |
| CN106792856A (zh) * | 2016-12-27 | 2017-05-31 | 武汉虹信通信技术有限责任公司 | 一种基于设备级并行度的无线网元管理系统告警处理方法 |
| CN106792856B (zh) * | 2016-12-27 | 2020-04-10 | 武汉虹信通信技术有限责任公司 | 一种基于设备级并行度的无线网元管理系统告警处理方法 |
| CN113626198A (zh) * | 2021-08-19 | 2021-11-09 | 上海观安信息技术股份有限公司 | 一种数据库流量负载均衡系统及方法 |
| CN113626198B (zh) * | 2021-08-19 | 2024-03-26 | 上海观安信息技术股份有限公司 | 一种数据库流量负载均衡系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1282333C (zh) | 2006-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111614627B (zh) | 一种面向sdn的跨平面协作ddos检测与防御方法与系统 | |
| US9584533B2 (en) | Performance enhancements for finding top traffic patterns | |
| US10523692B2 (en) | Load balancing method and apparatus in intrusion detection system | |
| CN107181612A (zh) | 一种基于大数据的可视化网络安全监控方法 | |
| Jiang et al. | Scalable high-performance parallel design for network intrusion detection systems on many-core processors | |
| CN103475653A (zh) | 网络数据包的检测方法 | |
| US9160639B2 (en) | Network flow abnormality detection system and a method of the same | |
| Zheng et al. | Algorithms to speedup pattern matching for network intrusion detection systems | |
| CN1282333C (zh) | 一种入侵检测的多线程负载均衡方法 | |
| Haagdorens et al. | Improving the performance of signature-based network intrusion detection sensors by multi-threading | |
| Lin et al. | Length-bounded hybrid CPU/GPU pattern matching algorithm for deep packet inspection | |
| Wang et al. | Practice of parallelizing network applications on multi-core architectures | |
| Shuai et al. | Performance optimization of Snort based on DPDK and Hyperscan | |
| CN1968180A (zh) | 一种基于多级聚集的异常流量控制方法与系统 | |
| Papadogiannakis et al. | Scap: Stream-oriented network traffic capture and analysis for high-speed networks | |
| CN112468509A (zh) | 一种基于深度学习技术的流量数据自动检测方法及装置 | |
| Li et al. | Towards efficient traffic monitoring for science dmz with side-channel based traffic winnowing | |
| Chen et al. | Para-snort: A multi-thread snort on multi-core ia platform | |
| Jiang et al. | Load balancing by ruleset partition for parallel IDS on multi-core processors | |
| Li et al. | A parallel packet processing method on multi-core systems | |
| Gill et al. | Scalanytics: A declarative multi-core platform for scalable composable traffic analytics | |
| Hung et al. | Fast parallel network packet filter system based on CUDA | |
| Zheng et al. | Scalable nids via negative pattern matching and exclusive pattern matching | |
| KR102285661B1 (ko) | 침입 탐지 시스템에서 로드 밸런싱 방법 및 장치 | |
| Xie et al. | Parallel Design and Performance Optimization based on OpenCL Snort |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: SHANGHAI INFOT MICROELECTRONICS CO., LTD. Free format text: FORMER OWNER: INST. OF COMPUTING TECHNOLOGY, CHINESE ACADEMY OF SCIENCES Effective date: 20110919 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 100080 HAIDIAN, BEIJING TO: 201203 PUDONG NEW AREA, SHANGHAI |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20110919 Address after: 201203, 11, Lane 572, Lane 115, blue wave road, Zhangjiang hi tech park, Shanghai Patentee after: Shanghai InfoTM Microelectronics Co., Ltd. Address before: 100080 No. 6 South Road, Zhongguancun Academy of Sciences, Beijing Patentee before: Institute of Computing Technology, Chinese Academy of Sciences |
|
| C56 | Change in the name or address of the patentee |
Owner name: SHANGHAI INFOTM MICROELECTRONICS CO., LTD. Free format text: FORMER NAME: SHANGHAI INFOT MICROELECTRONICS CO., LTD. |
|
| CP01 | Change in the name or title of a patent holder |
Address after: 201203, 11, Lane 572, Lane 115, blue wave road, Zhangjiang hi tech park, Shanghai Patentee after: Shanghai InfoTM Microelectronics Co., Ltd. Address before: 201203, 11, Lane 572, Lane 115, blue wave road, Zhangjiang hi tech park, Shanghai Patentee before: Shanghai InfoTM Microelectronics Co., Ltd. |
|
| DD01 | Delivery of document by public notice |
Addressee: Shanghai InfoTM Microelectronics Co., Ltd. Document name: Notification to Pay the Fees |
|
| DD01 | Delivery of document by public notice |
Addressee: Shanghai InfoTM Microelectronics Co., Ltd. Document name: Notification to Pay the Fees |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20061025 Termination date: 20170224 |