CN108462715B - 基于mpi的wm串匹配并行算法的网络信息过滤方法 - Google Patents
基于mpi的wm串匹配并行算法的网络信息过滤方法 Download PDFInfo
- Publication number
- CN108462715B CN108462715B CN201810244135.0A CN201810244135A CN108462715B CN 108462715 B CN108462715 B CN 108462715B CN 201810244135 A CN201810244135 A CN 201810244135A CN 108462715 B CN108462715 B CN 108462715B
- Authority
- CN
- China
- Prior art keywords
- queue
- datagram
- message
- status
- judge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims description 142
- 238000012545 processing Methods 0.000 claims abstract description 76
- 238000012216 screening Methods 0.000 claims abstract description 13
- 238000012552 review Methods 0.000 claims abstract description 10
- 239000012160 loading buffer Substances 0.000 claims abstract description 5
- 239000000872 buffer Substances 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 13
- 230000003139 buffering effect Effects 0.000 claims 1
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 abstract 1
- 238000007689 inspection Methods 0.000 description 9
- 241000700605 Viruses Species 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0263—Rule management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
- H04L63/1466—Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种基于MPI的WM串匹配并行算法的网络信息过滤系统,包括:S1、多核系统初始化,初始化数据报文队列和报文鉴别队列;S2、并行加载缓冲区报文到数据报文队列,并行转发报文;S3、利用WM算法对数据报文队列进行并行筛选,对报文鉴别队列进行并行审查;S4、根据网络带宽和多核处理器的负载,实现基于消息传递的指令控制。本发明对WM算法进行了并行化改进,实现对报文进行并行处理,能够并行鉴别报文中的审查内容,控制模块优化设计了多核系统的计算资源和带宽的分配,加速了报文处理速度,有效提高了报文转发功能;特别适合网络信息安全领域对报文的过滤和内容的审查,以及防止网络攻击导致的性能的降低。
Description
技术领域
本发明涉及网络与信息安全技术领域,尤其涉及一种基于MPI的WM串匹配并行算法的网络信息过滤系统。
背景技术
随着计算机技术的迅速发展,信息在人们的生活中起着重要的作用。计算机网络中存在的大量信息影响着国家、政府、企事业单位和个人。网络信息为人们提供了丰富的资源和有益的信息,但是,在其中也存在着大量非法的、暴力的、恐怖的和色情等严重干扰社会和人们生活的不良内容。这些不良信息不仅会给社会带来严重的政治动乱,而且也会严重干扰人们的正常的生活。
网络信息过滤系统是对网络中的信息进行筛选,并把不符合要求的网络信息进行屏蔽或者过滤,预警和报告给计算机网络管理人员,以便进行处理。目前使用的网络信息过滤系统,一种是安装在网络代理防火墙中,代理防火墙设置在内网和外网之间。代理防火墙主要的问题在于代理型防火墙自身所存在的缺点,防火墙虽然能够抵御大部分外部的攻击,但是对于防火墙内部的防范却很有限,如果黑客攻击内部网络主机成功,很容易造成单点失效的问题。此外,防火墙很难对网络信息的内容进行有效监控。另一种主要使用的方法是把网络信息过滤系统安装在代理路由器中,由于代理路由器需要大量转发网络数据包,在安装网络信息过滤系统之后,网络信息过滤系统会成为代理路由器的瓶颈,因此,影响着代理路由器的工作效率。如何让网络信息过滤系统即保持着防火墙的基本功能,又能够实现在代理路由器中对网络数据包的有效过滤是一个技术难题。
深度数据包检测(Deep Packet Inspection)技术是网络信息过滤系统中的核心技术。深度数据包检测能够结合入侵检测系统、入侵防御系统及状态防火墙等功能,实现对网络数据包的数据部分的特征数据进行甄别和分类处理,因此,深度数据包检测比依靠数据包头部能够更精确地实现控制。同时,深度数据包检测也能够有效阻挡来自病毒、蠕虫和拒绝服务攻击等。
深度数据包检测技术中主要的算法来源于字符串匹配算法。在众多的字符串匹配算法中经典的是:Aho-Corasick(AC)算法和Wu-Manber(WM)算法。 AC算法和WM算法都是多模式串匹配算法。AC算法是AlfredV.Aho和Margaret J.Corasick于1975年提出的,因此,简称为AC算法。WM算法是SunWu和他的导师Udi Manber在20世纪90年代提出来的,因此,简称为WM算法。
多核处理器的出现,是计算机发展的一次革命性的飞跃。多核处理器极大地提高了计算机数据处理的速度,减少了计算机数据处理的时间,增加了计算机系统的性能。但是,在实际应用中所使用的传统的计算机算法,最初的设计是在单处理器系统中,因此,很难适应多核处理器的平台。
Open Multi-Processing(OpenMP)和Message Passing Interface(MPI)是目前并行程序设计流行的接口,并被很多计算机厂商所接受。消息传递接口(MPI) 是一种基于消息传递的并行程序接口。MPI比OpenMP在并行程序设计上具有更大的灵活性。MPI具有独立的运行空间,进程之间通过消息(Message)交换数据。但是,基于MPI的并行程序设计比OpenMP更加复杂。
设计在代理路由器和代理防火墙中的网络信息过滤系统要求更高的处理速度和响应时间。因此,在多核处理器时代,网络信息过滤系统如何实现快速、并行的处理是亟待解决的技术难题。
发明内容
(一)要解决的技术问题
本发明的目的是提出一种基于MPI的WM串匹配并行算法的网络信息过滤系统,解决网络信息过滤系统中的核心算法难以适应多核处理器的并行结构,实现网络信息过滤系统快速和并行的数据处理。
(二)技术方案
为了解决上述技术问题,本发明提供了一种基于MPI的WM串匹配并行算法的网络信息过滤系统,包括:
Part1、多核系统初始化,初始化数据报文队列,初始化报文鉴别队列;
Part2、并行加载缓冲区报文到数据报文队列,并行转发报文;
Part3、利用WM算法对数据报文队列进行并行筛选,对报文鉴别队列进行并行审查;
Part4、根据网络带宽和多核处理器的负载,实现基于消息传递的指令控制。
首先,一种基于MPI的WM串匹配并行算法的网络信息过滤系统的数据结构定义,包括如下部分:
模式字符串,简称模式,包括网络协议类型,数据报文中需要鉴别的规则,过滤条件和审查内容。
模式集合,记为:Set_Pattern,形式描述为:Set_Pattern={p1,p2,…,pi,…},其中,pi是模式集合Set_Pattern的第i个模式字符串。
模式字符串pi形式描述为:pi=pi1…pin,pi1是模式字符串pi的左面第一个字符,pin是模式字符串pi的右面最末尾的字符。
Len(P)表示字符串P的长度。
字符串B是pi的子串,表示为:B=pij-Len(B)+1…pij。
Pmin是模式集合Set_Pattern中模式字符串长度最小的模式。
哈希函数记为:Hash(),Hash(P)表示对字符串P进行哈希运算所获得的数值。
在WM算法中跳转表Shift记为:Table_Shift_B,包括:
表Table_Shift_B定义开始;
数据项1、字符串B的哈希值,即Hash(B);
数据项2、在WM算法中跳转的距离,定义为偏移值,记为:Offset;
数据项3、当偏移值Offset等于0时,包含子串B的模式集合,记为:SubSet_Pattern,SubSet_Pattern的初始值为空集;
表Table_Shift_B定义结束。
数据报文队列,记为:Queue_Datagram,包括:
数据报文队列Queue_Datagram定义开始;
数据项1、数据报文的编号,记为:ID_Datagram;
数据项2、编号为ID_Datagram的数据报文的处理状态,记为: Status_Datagram;当Status_Datagram等于0时,表示该报文转发;当 Status_Datagram等于1时,表示该报文禁止转发;当Status_Datagram等于2时,表示该报文正在处理中;Status_Datagram的初始值设定为-1;
数据项3、编号为ID_Datagram的数据报文正在处理器中利用WM算法对数据报文进行筛选的状态,记为:Status_WM_Slave_Work;当 Status_WM_Slave_Work等于0时,表示报文处理过程已经完成;当 Status_WM_Slave_Work等于1时,表示报文处理过程正在进行中;Status_WM_Slave_Work的初始值设定为-1;
数据项4、编号为ID_Datagram的数据报文正在处理器中进行内容鉴别过程的处理状态,记为:Status_WM_Judge_Work;当Status_WM_Judge_Work等于0 时,表示报文的鉴别过程已经完成;当Status_WM_Judge_Work等于1时,表示报文的鉴别过程正在进行中;Status_WM_Judge_Work的初始值设定为-1;
数据项5、编号为ID_Datagram的数据报文的鉴别结果,记为: Status_WM_Judge_Result;当Status_WM_Judge_Result等于0时,表示内容审查后报文符合要求,转发该报文;当Status_WM_Judge_Result等于1时,表示内容审查后报文不符合要求,禁止转发该报文;Status_WM_Judge_Result的初始值设定为-1;
数据项6、编号为ID_Datagram的数据报文中需要鉴别内容的数量,记为: Status_WM_Judge_Count;当Status_WM_Judge_Count等于0时,表示报文中没有需要鉴别的内容,当Status_WM_Judge_Count为大于0的数值时,表示报文中需要鉴别内容的总数量;Status_WM_Judge_Count的初始值设定为0;
数据项7、编号为ID_Datagram的数据报文在数据缓冲区中的地址信息,记为:ID_Datagram_AddressInfo;
数据报文队列Queue_Datagram定义结束。
数据报文需要鉴别内容的队列,定义为报文鉴别队列,记为:Queue_Judge,包括:
报文鉴别队列Queue_Judge定义开始;
数据项1、鉴别的数据报文的编号,记为:ID_Datagram;
数据项2、在鉴别的数据报文中,鉴别内容所在报文中的位置信息,记为:Location_i;
数据项3、在鉴别的数据报文中,鉴别内容需要匹配的模式集合信息;记为: Set_MatchingPattern_Info;
报文鉴别队列Queue_Judge定义结束。
在多核处理器系统中使用的处理器的工作状态队列,记为: Queue_CoreStatusWork,包括:
处理器工作状态队列Queue_CoreStatusWork定义开始;
数据项1、处理器在多核系统中的编号,记为:ID_Core;
数据项2、编号为ID_Core的处理器当前的工作状态,记为:CoreStatusWork;当CoreStatusWork等于0时,表示该处理器处于空闲状态;当CoreStatusWork 等于1时,表示该处理器处于忙状态,也就是正在被应用程序占用;
处理器工作状态队列Queue_CoreStatusWork定义结束。
在MPI系统中,消息传递过程记为:Message(Information1,Information2,…,ID_Core_i),其中,Information表示传递的信息内容,ID_Core_i表示多核系统中处理器的编号。
记录数据报文队列Queue_Datagram的锁状态,记为:Lock_Queue_Datagram;当Lock_Queue_Datagram等于0时,表示当前数据报文队列Queue_Datagram没有加锁;当Lock_Queue_Datagram等于1时,表示当前数据报文队列 Queue_Datagram处于锁定状态。
其次,一种基于MPI的WM串匹配并行算法的网络信息过滤系统的过程描述,包括:
模式集合Set_Pattern初始化过程,包括:
S1、建立过滤网络协议库,过滤网络层数据包头部规则,过滤IP数据包规则,过滤TCP数据包规则,过滤UDP数据包规则,审查内容关键字;
S2、由网络协议库,过滤规则和审查内容建立模式集合,确定过滤条件和审查内容,统计模式的总数量,模式的最小长度;
S3、如果模式最小长度小于2,则对该模式进行补位处理,具体为:处理后的模式的第一位填加原模式的字符,在第二位填加ASCII码NUL操作符;
S4、过程结束。
在WM算法中,表Table_Shift_B的建立过程,包括:
S1、初始化表Table_Shift_B的字符串B的偏移值Offset,设定为 Len(Pmin)-Len(B)+1;
S2、i为循环计数器,获得模式集合Set_Pattern的第i个模式pi,计算pi中的每个B子串的跳转距离Len(pi)-j;
如果表Table_Shift_B中对应B的Hash(B)的偏移值Offset大于Len(pi)-j,则把Offset的值修改为Len(pi)-j;
如果Len(pi)-j等于0,那么把模式pi添加到对应B的Hash(B)的SubSet_Pattern集合中;
S3、重复步骤S2,直到模式集合Set_Pattern的所有模式处理完毕;
S4、过程结束。
并行加载缓冲区报文到数据报文队列Queue_Datagram的过程,包括:
S1、如果Lock_Queue_Datagram当前为锁定状态,则继续进行查询;否则,转到S2;
S2、如果当前数据报文队列Queue_Datagram没有加锁,则设置 Lock_Queue_Datagram为锁定状态;
S3、从缓冲区读取报文,创建数据报文队列Queue_Datagram新的结点,编号设定为ID_Datagram,初始化Status_Datagram,Status_WM_Slave_Work, Status_WM_Judge_Work,Status_WM_Judge_Result的值为-1,初始化 Status_WM_Judge_Count的值为0,初始化ID_Datagram_AddressInfo为缓冲区的报文的地址,将该报文信息插入数据报文队列Queue_Datagram;
S4、重复步骤S3,直到缓冲区所有报文处理完毕;
S5、设置Lock_Queue_Datagram为解锁状态;
S6、过程结束。
对数据报文队列Queue_Datagram中的报文进行并行转发的过程,包括:
S1、如果Lock_Queue_Datagram当前为锁定状态,则继续进行查询;否则,转到S2;
S2、如果当前数据报文队列Queue_Datagram没有加锁,则设置 Lock_Queue_Datagram为锁定状态;
S3、由数据报文队列Queue_Datagram的头结点开始,查询数据报文队列中编号为ID_Datagram的报文的Status_Datagram状态;
如果Status_Datagram等于0,则消息传递Message(ID_Datagram, ID_Datagram_AddressInfo,转发,ID_Core),通知处理器ID_Core的进程对报文编号为ID_Datagram和缓冲区地址为ID_Datagram_AddressInfo的报文进行转发处理;
如果Status_Datagram等于1,则消息传递Message(ID_Datagram, ID_Datagram_AddressInfo,禁止转发,ID_Core),通知处理器ID_Core的进程对报文编号为ID_Datagram和缓冲区地址为ID_Datagram_AddressInfo的报文禁止转发;
如果Status_Datagram等于0和1,将编号为ID_Datagram的结点移出数据报文队列Queue_Datagram;
如果Status_Datagram等于2,则查询数据报文队列Queue_Datagram的下一个结点;重复步骤S3,直到数据报文队列Queue_Datagram的所有结点查询完毕;
S4、设置Lock_Queue_Datagram为解锁状态;
S5、等待系统主进程的消息传递的指令信息,
指令信息如果为:继续执行,则转到S1;
指令信息如果为:停止转发过程,则转到S6;
S6、过程结束。
报文转发状态结果处理过程,包括:
S1、查询数据报文队列Queue_Datagram中的编号为ID_Datagram的报文的Status_WM_Slave_Work,Status_WM_Judge_Work,Status_WM_Judge_Result的状态;
如果Status_WM_Slave_Work等于0,并且,Status_WM_Judge_Work等于0,并且,Status_WM_Judge_Result等于0,则设置Status_Datagram的值为0,该报文将进行转发处理;
如果Status_WM_Slave_Work等于0,并且,Status_WM_Judge_Work等于0,并且,Status_WM_Judge_Result等于1,则设置Status_Datagram的值为1,该报文将禁止转发;
S2、查询数据报文队列Queue_Datagram中的编号为ID_Datagram的报文的下一个结点;
S3、如果当前结点是数据报文队列Queue_Datagram的队尾,则等待系统主进程的消息传递的指令信息;
指令信息如果为:继续执行,则由数据报文队列Queue_Datagram的队列头结点开始继续报文转发状态结果处理过程,转到S1;
指令信息如果为:停止处理过程,则转到S5;
指令信息如果为:处理编号为ID_Datagram的报文,则在数据报文队列 Queue_Datagram中找到编号为ID_Datagram的结点,转到S1;
指令信息如果为:指定处理过程等待Time时间,然后重新开始,则转到S4;
S4、等待给定的Time时间后,由数据报文队列Queue_Datagram的队列头结点开始继续报文转发状态结果处理过程,转到S1;
S5、过程结束。
报文鉴别过程,记为:WM_Judge,包括:
S1、获得报文鉴别队列Queue_Judge的当前结点的报文编号ID_Datagram;
S2、查询Queue_CoreStatusWork的处理器工作状态,如果处理器编号ID_Core 的当前工作状态CoreStatusWork为空闲,则转到S3;否则,继续查询;
S3、将队列Queue_CoreStatusWork的处理器编号ID_Core的当前工作状态CoreStatusWork设置为忙;
S4、查找数据报文队列Queue_Datagram的报文编号ID_Datagram的结点,设置Status_WM_Judge_Work的状态值为1;获得ID_Datagram_AddressInfo的信息;
S5、从ID_Datagram_AddressInfo的数据报文中获得Location_i位置的鉴别字符串String,将字符串String与Set_MatchingPattern_Info中的模式进行匹配;
如果匹配成功,则设置Status_WM_Judge_Result等于1;
如果匹配失败,则将Status_WM_Judge_Count的值减去1;
S6、如果Status_WM_Judge_Count等于0,则设置Status_WM_Judge_Work 等于0;
如果Status_WM_Judge_Count大于0,则设置Status_WM_Judge_Work等于 1;
S7、如果Status_WM_Judge_Count等于0,并且,Status_WM_Judge_Work 等于0,则设置Status_WM_Judge_Result等于0;
S8、将当前处理结点移出报文鉴别队列Queue_Judge,将队列 Queue_CoreStatusWork的处理器编号ID_Core的当前工作状态CoreStatusWork 设置为空闲;
S9、过程结束。
基于WM算法的报文处理过程,记为:WM_Slave,包括:
S1、从数据报文队列Queue_Datagram获得当前结点的报文编号 ID_Datagram;
S2、查询Queue_CoreStatusWork的处理器工作状态,如果处理器编号ID_Core 的当前工作状态CoreStatusWork为空闲,则转到S3;否则,继续查询;
S3、将报文编号ID_Datagram的Status_WM_Slave_Work的状态值设置为1,即正在处理过程中,将队列Queue_CoreStatusWork的处理器编号ID_Core的当前工作状态CoreStatusWork设置为忙;
S4、获得报文编号ID_Datagram的ID_Datagram_AddressInfo的信息,并消息传递获得报文的拷贝;设置报文的处理状态Status_Datagram等于2;
S5、Location_i记录当前报文的处理位置,blc为WM算法当前处理的字符串,Location_i的初始值设定为Len(blc);
S6、如果在Table_Shift_B表中,字符串blc对应的Hash(blc)的偏移值Offset 等于0,则建立报文鉴别队列Queue_Judge的新结点NewPoint包含:ID_Datagram, Location_i,将SubSet_Pattern模式集合的信息复制给Set_MatchingPattern_Info,将新结点NewPoint插入到报文鉴别队列Queue_Judge中;在数据报文队列 Queue_Datagram当前结点的报文编号ID_Datagram中,设置 Status_WM_Judge_Count=Status_WM_Judge_Count+1;设置 Location_i=Location_i+1;
S7、如果在Table_Shift_B表中,字符串blc对应的Hash(blc)的偏移值Offset 不等于0,则Location_i=Location_i+Offset;如果Location_i大于报文的长度,则设置Location_i为报文的最末位置;
S8、如果Location_i小于等于报文的长度,则转到S6;否则,转到S9;
S9、在数据报文队列Queue_Datagram当前结点的报文编号ID_Datagram中,设置Status_WM_Slave_Work等于0;
如果Status_WM_Judge_Count等于0,设置Status_WM_Judge_Work等于0,设置Status_WM_Judge_Result等于0;
S10、将队列Queue_CoreStatusWork的处理器编号ID_Core的当前工作状态CoreStatusWork设置为空闲;
S11、过程结束。
利用WM算法对数据报文队列进行并行筛选的过程,记为Parallel_WM_ Execute,包括:
S1、获得数据报文队列Queue_Datagram的头结点,并设置为当前结点CurrentPoint;
S2、查询Queue_CoreStatusWork的处理器工作状态,如果处理器编号ID_Core 的当前工作状态CoreStatusWork为空闲,则转到S3;如果队列 Queue_CoreStatusWork中的所有处理器均为忙状态,继续查询,转到S2;
S3、消息传递Message(CurrentPoint,WM_Slave,ID_Core),在编号为ID_Core 的处理器中对数据报文队列Queue_Datagram的当前结点CurrentPoint执行WM 算法的报文处理过程WM_Slave;
S4、依次遍历数据报文队列,当前结点CurrentPoint指向下一个结点;
S5、接收系统主进程的消息传递的指令信息;
指令信息如果为:继续执行,如果当前结点为队尾,则当前结点指向队列 Queue_Datagram的头结点;转到S2;
指令信息如果为:停止处理过程,则转到S6;
S6、过程结束。
对报文鉴别队列Queue_Judge进行并行审查的过程,记为Parallel_Check,包括:
S1、获得报文鉴别队列Queue_Judge的头结点,并设置为当前结点 CurrentPoint;
S2、查询Queue_CoreStatusWork的处理器工作状态,如果处理器编号ID_Core 的当前工作状态CoreStatusWork为空闲,则转到S3;如果队列Queue_CoreStatusWork中的所有处理器均为忙状态,继续查询,转到S2;
S3、消息传递Message(CurrentPoint,WM_Judge,ID_Core),在编号为ID_Core 的处理器中对报文鉴别队列Queue_Judge的当前结点CurrentPoint执行报文鉴别过程WM_Judge;
S4、依次遍历报文鉴别队列,当前结点CurrentPoint指向下一个结点;
S5、接收系统主进程的消息传递的指令信息;
指令信息如果为:继续执行,如果当前结点为队尾,则当前结点指向队列 Queue_Judge的头结点;转到S2;
指令信息如果为:停止处理过程,则转到S6;
指令信息如果为:指定处理过程等待Time时间,然后重新开始,则转到S2;
S6、过程结束。
多核系统并行主程序,包括:
S1、初始化MPI运行环境;
S2、获得多核系统的处理器信息,如果多核系统中的处理器核心数小于7个,则提示用户当前系统不能完成并行执行过程,结束MPI,退出系统;
建立多核系统的处理器的工作状态队列Queue_CoreStatusWork,初始化处理器编号ID_Core和工作状态CoreStatusWork,CoreStatusWork初始值设置为空闲;
用户设定WM算法的Len(B)的数值;
初始化表Table_Shift_B;
执行模式集合Set_Pattern初始化过程;
执行WM算法的表Table_Shift_B的建立过程;
初始化数据报文队列Queue_Datagram;
初始化报文鉴别队列Queue_Judge;
用户设定数据报文队列Queue_Datagram的锁状态;
设置报文缓冲区的入口地址,最大容量,网络带宽信息;
S3、分配多核系统并行主程序的处理器编号为0号,并设置处理器的工作状态队列Queue_CoreStatusWork的ID_Core等于0的处理器的工作状态 CoreStatusWork为忙;
S4、分配编号为1号的处理器给并行加载缓冲区报文到数据报文队列 Queue_Datagram的过程,并设置ID_Core等于1的处理器的工作状态 CoreStatusWork为忙;
启动并行加载缓冲区报文到数据报文队列Queue_Datagram的过程;
S5、分配编号为2号的处理器给对数据报文队列Queue_Datagram中的报文进行并行转发的过程,并设置ID_Core等于2的处理器的工作状态 CoreStatusWork为忙;
启动对数据报文队列Queue_Datagram中的报文进行并行转发的过程;
S6、分配编号为3号的处理器给报文转发状态结果处理过程,并设置ID_Core 等于3的处理器的工作状态CoreStatusWork为忙;
启动报文转发状态结果处理过程;
S7、主程序把表Table_Shift_B依次消息传递给处理器工作状态队列 Queue_CoreStatusWork中工作状态CoreStatusWork为空闲的处理器;
S8、分配编号为4号的处理器给并行筛选的过程Parallel_WM_Execute,并设置ID_Core等于4的处理器的工作状态CoreStatusWork为忙;
启动利用WM算法对数据报文队列Queue_Datagram进行并行筛选的过程;
S9、分配编号为5号的处理器给并行审查的过程Parallel_Check,并设置 ID_Core等于5的处理器的工作状态CoreStatusWork为忙;
启动对报文鉴别队列Queue_Judge进行并行审查的过程;
S10、根据网络带宽和多核处理器的负载情况,利用消息传递Message(指令, ID_Core)实现报文转发的控制,即在编号为ID_Core的处理器中执行主程序下达的指令信息;
S11、结束MPI;
S12、过程结束。
(三)有益效果
本发明克服了WM算法在单处理器模式下的按照顺序进行报文处理的缺陷,对报文进行并行处理,并能够并行鉴别审查内容,加速了报文处理的速度,提高了网络信息过滤系统的效率。此外,本发明的控制模块优化设计了多核系统的计算资源和带宽的分配,能够有效抵御网络攻击,有效提高网络信息过滤系统的报文转发性能。
附图说明
图1是基于MPI的WM串匹配并行算法的网络信息过滤系统流程图。
具体实施方式
下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明,但不能用来限制发明的范围。
实例1:
假定“病毒”被确定为非法内容。缓冲区有两个报文:Datagram_1和 Datagram_2,其中,Datagram_1中在报文中间位置Location_Mid具有非法内容“病毒”,而Datagram_2中没有审查内容。
系统主程序初始化MPI运行环境后,获得多核系统的处理器信息,多核系统中的处理器核心数假定是9个。初始化表Table_Shift_B后,执行模式集合 Set_Pattern初始化过程;执行WM算法的表Table_Shift_B的建立过程;设置报文缓冲区的入口地址,最大容量,网络带宽信息。
建立多核系统的处理器的工作状态队列Queue_CoreStatusWork,初始化处理器编号ID_Core和工作状态CoreStatusWork,CoreStatusWork初始值设置为空闲。
初始化数据报文队列Queue_Datagram和报文鉴别队列Queue_Judge后,处理器的负载和任务分布如下:
ID_Core_0:运行系统主程序,工作状态CoreStatusWork:忙;
ID_Core_1:运行并行加载缓冲区报文到数据报文队列Queue_Datagram的过程,工作状态CoreStatusWork:忙;
ID_Core_2:运行对数据报文队列Queue_Datagram中的报文进行并行转发的过程,工作状态CoreStatusWork:忙;
ID_Core_3:运行报文转发状态结果处理过程,工作状态CoreStatusWork:忙;
ID_Core_4:无,工作状态CoreStatusWork:空闲;
ID_Core_5:无,工作状态CoreStatusWork:空闲;
ID_Core_6:无,工作状态CoreStatusWork:空闲;
ID_Core_7:无,工作状态CoreStatusWork:空闲;
ID_Core_8:无,工作状态CoreStatusWork:空闲;
主程序把表Table_Shift_B依次消息传递给处理器工作状态队列 Queue_CoreStatusWork中工作状态CoreStatusWork为空闲的处理器;即, ID_Core_4,ID_Core_5,ID_Core_6,ID_Core_7,ID_Core_8的处理器中接收了表Table_Shift_B。
主程序在ID_Core_4处理器启动利用WM算法对数据报文队列 Queue_Datagram进行并行筛选的过程Parallel_WM_Execute。
主程序在ID_Core_5处理器启动对报文鉴别队列Queue_Judge进行并行审查的过程Parallel_Check。
处理器ID_Core_1已经加载缓冲区报文Datagram_1和Datagram_2到数据报文队列Queue_Datagram。
处理器ID_Core_4利用WM算法对数据报文队列Queue_Datagram进行并行筛选的过程,消息传递Message(Datagram_1,WM_Slave,ID_Core_6)和 Message(Datagram_2,WM_Slave,ID_Core_7)。
处理器ID_Core_6在执行WM算法对报文Datagram_1处理过程WM_Slave 中,发现在Location_Mid位置的“病毒”审查信息,于是把该信息登记在报文鉴别队列Queue_Judge中。
与此同时,处理器ID_Core_7在执行WM算法对报文Datagram_2处理过程 WM_Slave。
并行执行的处理器ID_Core_5发现报文鉴别队列Queue_Judge有内容需要审查,于是消息传递Message(Datagram_1,WM_Judge,ID_Core_8)。
在处理器ID_Core_8中执行对报文Datagram_1的鉴别过程WM_Judge,由于匹配模式“病毒”成功,则设置数据报文队列Queue_Datagram的报文编号 Datagram_1的结点的Status_WM_Judge_Result状态值为1,即发现在 Location_Mid位置的“病毒”非法信息。
并行执行的处理器ID_Core_3对报文转发状态结果进行处理,设置数据报文队列Queue_Datagram中的编号为Datagram_2的报文的Status_Datagram的值为 0;设置编号为Datagram_1的报文的Status_Datagram的值为1;
并行执行的处理器ID_Core_2对数据报文队列Queue_Datagram中的报文进行并行转发处理,由于Datagram_1包含非法内容,报文被禁止转发,而 Datagram_2不包含非法内容,报文被转发。
在单处理器的处理方式中,报文Datagram_1和Datagram_2必须按照顺序进行处理,而且在审查到Location_Mid位置的内容时,需要匹配审查内容,然后顺序进行后面的处理。本发明能够充分利用多核处理器计算资源,把审查内容的鉴别和报文的处理并行执行,加速了报文处理的速度,提高了网络信息过滤系统的效率。
实例2:
在实际应用中,由于一些包含大量非法内容的报文在经过代理路由器和代理防火墙时,审查过程占用大量的计算机资源和网络带宽,致使正常的报文转发受到严重的影响;因此,本发明在网络信息过滤系统中加入控制模块,可以有效防御此类网络攻击。
假设缓冲区中有10个报文,其中Datagram_1和Datagram_5中包含大量非法信息。
假设Datagram_1中包含10个,Datagram_5中包含20个,其它,Datagram_2 至Datagram_4,Datagram_6至Datagram_10不包含非法信息,属于合法的报文。
在数据报文队列Queue_Datagram中,顺序为Datagram_1,…,Datagram_10 的10个报文,在报文鉴别队列Queue_Judge中,有30个需要鉴别的审查内容。假如多核系统的计算资源都用于鉴别审查内容,势必影响其他报文的正常转发,也就会出现例子开始所说的此类网络攻击。
具体的过程简化说明如下:
假如系统中有12个处理器,其中:
ID_Core_0运行系统主程序。
ID_Core_1运行并行加载缓冲区报文到数据报文队列Queue_Datagram的过程。
ID_Core_2运行对数据报文队列Queue_Datagram中的报文进行并行转发的过程。
ID_Core_3运行报文转发状态结果处理过程。
ID_Core_4运行WM算法对数据报文队列Queue_Datagram进行并行筛选的过程。
ID_Core_5运行对报文鉴别队列Queue_Judge进行并行审查的过程。
以上6个处理器均为忙状态。
ID_Core_6:无,工作状态CoreStatusWork:空闲;
ID_Core_7:无,工作状态CoreStatusWork:空闲;
ID_Core_8:无,工作状态CoreStatusWork:空闲;
ID_Core_9:无,工作状态CoreStatusWork:空闲;
ID_Core_10:无,工作状态CoreStatusWork:空闲;
ID_Core_11:无,工作状态CoreStatusWork:空闲。
在处理器ID_Core_5中对报文鉴别队列Queue_Judge进行并行审查的过程,消息传递Message(CurrentPoint,WM_Judge,ID_Core_6),在编号为ID_Core_6的处理器中对当前结点CurrentPoint执行报文鉴别过程WM_Judge。如果出现鉴别报文内容过多占用系统资源的情况,则在Parallel_Check过程进行的步骤S5接收系统主进程的消息传递的指令信息,此时,主程序可以下达:“指定处理过程等待5分钟时间,然后重新开始”;在5分钟内处理器ID_Core_5不再分配处理器给报文鉴别队列Queue_Judge进行并行审查。
与此同时,在处理器ID_Core_4中,对数据报文队列Queue_Datagram进行并行筛选的过程继续分配处理器进行报文处理,即消息传递 Message(CurrentPoint,WM_Slave,ID_Core)给处理器ID_Core进行WM_Slave过程,如下所示:
Message(Datagram_2,WM_Slave,ID_Core_7),即在处理器ID_Core_7处理报文Datagram_2;
Message(Datagram_3,WM_Slave,ID_Core_8),即在处理器ID_Core_8处理报文Datagram_3;
Message(Datagram_4,WM_Slave,ID_Core_9),即在处理器ID_Core_9处理报文Datagram_4;
Message(Datagram_5,WM_Slave,ID_Core_10),即在处理器ID_Core_10处理报文Datagram_5;
Message(Datagram_6,WM_Slave,ID_Core_11),即在处理器ID_Core_11处理报文Datagram_6;
因此,有限的计算资源和带宽被分配给处理正常的报文。
与此同时,在处理器ID_Core_3中的报文转发状态结果处理过程已经把不含非法内容的报文的转发结果统计出来。
与此同时,在处理器ID_Core_2中,对数据报文队列Queue_Datagram中的符合要求的报文进行转发;
与此同时,数据报文队列Queue_Datagram的报文编号Datagram_1的其它数据项如下:
数据报文的处理状态Status_Datagram等于2;
对数据报文进行筛选的状态Status_WM_Slave_Work等于0;
鉴别过程的处理状态Status_WM_Judge_Work等于1
数据报文的鉴别结果Status_WM_Judge_Result等于1;
数据报文中需要鉴别内容的数量Status_WM_Judge_Count等于9;
因此,该报文还处于待处理状态。
此外,报文鉴别队列Queue_Judge中大量的鉴别内容并没有被分配计算资源,因此,并没有影响系统对正常报文的处理,也就是说,在10个报文中,8个正常的报文已经处理完毕,而剩下的2个报文待处理。
在处理器ID_Core_5中,并行审查过程等待了5分钟后;然后重新开始,此时,依然可以根据多核系统的计算资源和带宽决定是否进行继续处理的过程。
本发明优化设计了把多核系统的计算资源和带宽分配给正常的报文处理,而对需要鉴别的报文的处理,则延迟到计算资源和带宽满足条件时进行处理,从而,抵御了网络攻击,有效提高了系统的报文转发性能。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (2)
1.一种基于MPI的WM串匹配并行算法的网络信息过滤方法,其特征在于,包括:
Part1、多核系统初始化,初始化数据报文队列,初始化报文鉴别队列;
Part2、分配多核系统并行主程序的处理器编号为0号,并设置处理器的工作状态队列Queue_CoreStatusWork的ID_Core等于0的处理器的工作状态CoreStatusWork为忙;分配编号为1号的处理器给并行加载缓冲区报文到数据报文队列Queue_ Datagram的过程,并设置ID_Core等于1的处理器的工作状态CoreStatusWork为忙;启动并行加载缓冲区报文到数据报文队列Queue_Datagram的过程;分配编号为2号的处理器给对数据报文队列Queue_Datagram中的报文进行并 行转发的过程,并设置ID_Core等于2的处理器的工作状态CoreStatusWork为忙;启动对数据报文队列Queue_Datagram中的报文进行并行转发的过程;分配编号为3号的处理器给报文转发状态结果处理过程,并设置ID_Core等于3 的处理器的工作状态CoreStatusWork为忙;启动报文转发状态结果处理过程;
Part3、主程序把表Table_Shift_B依次消息传递给处理器工作状态队列Queue_CoreStatusWork中工作状态CoreStatusWork为空闲的处理器;分配编号为4号的处理器给并行筛选的过程Parallel_WM _Execute,并设置ID_ Core等于4的处理器的工作状态CoreStatusWork为忙;启动利用吴曼伯WM算法对数据报文队列Queue_Datagram进行并行筛选的过程;分配编号为5号的处理器给并行审查的过程Parallel_Check,并设置ID_Core 等于5的处理器的工作状态CoreStatusWork为忙;启动对报文鉴别队列Queue_Judge进行并行审查的过程;根据网络带宽和多核处理器的负载情况,利用消息传递Message(指令,ID_Core)实现报文转发的控制,即在编号为ID_Core的处理器中执行主程序下达的指令信息;
Part4、根据网络带宽和多核处理器的负载,实现基于消息传递的指令控制;
第一、一种基于消息传递的并行程序接口MPI的WM串匹配并行算法的网络信息过滤系统的数据结构定义,包括:
模式字符串,简称模式,包括网络协议类型,数据报文中需要鉴别的规则,过滤条件和审查内容;
模式集合,记为:Set_Pattern,形式描述为:Set_Pattern={p1,p2,…,pi,…},其中,pi是模式集合Set_Pattern的第i个模式字符串;
模式字符串pi形式描述为:pi=pi1…pin,pi1是模式字符串pi的左面第一个字符,pin是模式字符串pi的右面最末尾的字符;
Len(P)表示字符串P的长度;
字符串B是pi的子串,表示为: B=pi j-Len(B)+1…pi j;
Pmin是模式集合Set_Pattern中模式字符串长度最小的模式;
哈希函数记为:Hash(),Hash(P)表示对字符串P进行哈希运算所获得的数值;
在WM算法中跳转表Shift记为:Table_Shift_B,包括:
表Table_Shift_B定义开始;
数据项1、字符串B的哈希值,即Hash(B);
数据项2、在WM算法中跳转的距离,定义为偏移值,记为:Offset;
数据项3、当偏移值Offset等于0时,包含子串B的模式集合,记为:SubSet_Pattern,SubSet_Pattern的初始值为空集;
表Table_Shift_B定义结束;
数据报文队列,记为:Queue_Datagram,包括:
数据报文队列Queue_Datagram定义开始;
数据项1、数据报文的编号,记为:ID_Datagram;
数据项2、编号为ID_Datagram的数据报文的处理状态,记为:Status_Datagram;当Status_Datagram等于0时,表示该报文转发;当Status_Datagram等于1时,表示该报文禁止转发;当Status_Datagram等于2时,表示该报文正在处理中;Status_Datagram的初始值设定为-1;
数据项3、编号为ID_Datagram的数据报文正在处理器中利用WM算法对数据报文进行筛选的状态,记为:Status_WM_Slave_Work;当Status_WM_Slave_Work等于0时,表示报文处理过程已经完成;当Status_WM_Slave_Work等于1时,表示报文处理过程正在进行中;Status_WM_Slave_Work的初始值设定为-1;
数据项4、编号为ID_Datagram的数据报文正在处理器中进行内容鉴别过程的处理状态,记为:Status_WM_Judge_Work;当Status_WM_Judge_Work等于0时,表示报文的鉴别过程已经完成;当Status_WM_Judge_Work等于1时,表示报文的鉴别过程正在进行中;Status_WM_Judge_Work的初始值设定为-1;
数据项5、编号为ID_Datagram的数据报文的鉴别结果,记为:Status_WM_Judge_Result;当Status_WM_Judge_Result等于0时,表示内容审查后报文符合要求,转发该报文;当Status_WM_Judge_Result等于1时,表示内容审查后报文不符合要求,禁止转发该报文;Status_WM_Judge_Result的初始值设定为-1;
数据项6、编号为ID_Datagram的数据报文中需要鉴别内容的数量,记为:Status_WM_Judge_Count;当Status_WM_Judge_Count等于0时,表示报文中没有需要鉴别的内容,当Status_WM_Judge_Count为大于0的数值时,表示报文中需要鉴别内容的总数量;Status_WM_Judge_Count的初始值设定为0;
数据项7、编号为ID_Datagram的数据报文在数据缓冲区中的地址信息,记为:ID_Datagram_AddressInfo;
数据报文队列Queue_Datagram定义结束;
数据报文需要鉴别内容的队列,定义为报文鉴别队列,记为:Queue_Judge,包括:
报文鉴别队列Queue_Judge定义开始;
数据项1、鉴别的数据报文的编号,记为:ID_Datagram;
数据项2、在鉴别的数据报文中,鉴别内容所在报文中的位置信息,记为:Location_i;
数据项3、在鉴别的数据报文中,鉴别内容需要匹配的模式集合信息;记为:Set_MatchingPattern_Info;
报文鉴别队列Queue_Judge定义结束;
在多核处理器系统中使用的处理器的工作状态队列,记为:Queue_CoreStatusWork,包括:
处理器工作状态队列Queue_CoreStatusWork定义开始;
数据项1、处理器在多核系统中的编号,记为:ID_Core;
数据项2、编号为ID_Core的处理器当前的工作状态,记为:CoreStatusWork;当CoreStatusWork等于0时,表示该处理器处于空闲状态;当CoreStatusWork等于1时,表示该处理器处于忙状态,也就是正在被应用程序占用;
处理器工作状态队列Queue_CoreStatusWork定义结束;
在MPI系统中,消息传递过程记为:Message(Information1,Information2,…,ID_Core_i),其中,Information表示传递的信息内容,ID_Core_i表示多核系统中处理器的编号;
记录数据报文队列Queue_Datagram的锁状态,记为:Lock_Queue_Datagram;当Lock_Queue_Datagram等于0时,表示当前数据报文队列Queue_Datagram没有加锁;当Lock_Queue_Datagram等于1时,表示当前数据报文队列Queue_Datagram处于锁定状态;
第二、一种基于MPI的WM串匹配并行算法的网络信息过滤系统的过程描述,包括:
模式集合Set_Pattern初始化过程,包括:
S11、建立过滤网络协议库,过滤网络层数据包头部规则,过滤IP数据包规则,过滤TCP数据包规则,过滤UDP数据包规则,审查内容关键字;
S12、由网络协议库,过滤规则和审查内容建立模式集合,确定过滤条件和审查内容,统计模式的总数量,模式的最小长度;
S13、如果模式最小长度小于2,则对该模式进行补位处理,具体为:处理后的模式的第一位填加原模式的字符,在第二位填加ASCII码NUL操作符;
S14、过程结束;
在WM算法中,表Table_Shift_B的建立过程,包括:
S21、初始化表Table_Shift_B的字符串B的偏移值Offset,设定为Len(Pmin)-Len(B)+1;
S22、i为循环计数器,获得模式集合Set_Pattern的第i个模式pi,计算pi中的每个B子串的跳转距离Len(pi)-j;
如果表Table_Shift_B中对应B的Hash(B)的偏移值Offset大于Len(pi)-j,则把Offset的值修改为Len(pi)-j;
如果Len(pi)-j等于0,那么把模式pi添加到对应B的Hash(B)的SubSet_Pattern集合中;
S23、重复步骤S22,直到模式集合Set_Pattern的所有模式处理完毕;
S24、过程结束;
并行加载缓冲区报文到数据报文队列Queue_Datagram的过程,包括:
S31、如果Lock_Queue_Datagram当前为锁定状态,则继续进行查询;否则,转到S32;
S32、如果当前数据报文队列Queue_Datagram没有加锁,则设置Lock_Queue_Datagram为锁定状态;
S33、从缓冲区读取报文,创建数据报文队列Queue_Datagram新的结点,编号设定为ID_Datagram,初始化Status_Datagram,Status_WM_Slave_Work,Status_WM_Judge_Work,Status_WM_Judge_Result的值为-1,初始化Status_WM_Judge_Count的值为0,初始化ID_Datagram_AddressInfo为缓冲区的报文的地址,将该报文信息插入数据报文队列Queue_Datagram;
S34、重复步骤S33,直到缓冲区所有报文处理完毕;
S35、设置Lock_Queue_Datagram为解锁状态;
S36、过程结束;
对数据报文队列Queue_Datagram中的报文进行并行转发的过程,包括:
S41、如果Lock_Queue_Datagram当前为锁定状态,则继续进行查询;否则,转到S42;
S42、如果当前数据报文队列Queue_Datagram没有加锁,则设置Lock_Queue_Datagram为锁定状态;
S43、由数据报文队列Queue_Datagram的头结点开始,查询数据报文队列中编号为ID_Datagram的报文的Status_Datagram状态;
如果Status_Datagram等于0,则消息传递Message(ID_Datagram,ID_Datagram_AddressInfo,转发,ID_Core),通知处理器ID_Core的进程对报文编号为ID_Datagram和缓冲区地址为ID_Datagram_AddressInfo的报文进行转发处理;
如果Status_Datagram等于1,则消息传递Message(ID_Datagram,ID_Datagram_AddressInfo,禁止转发,ID_Core),通知处理器ID_Core的进程对报文编号为ID_Datagram和缓冲区地址为ID_Datagram_AddressInfo的报文禁止转发;
如果Status_Datagram等于0和1,将编号为ID_Datagram的结点移出数据报文队列Queue_Datagram;
如果Status_Datagram等于2,则查询数据报文队列Queue_Datagram的下一个结点;重复步骤S43,直到数据报文队列Queue_Datagram的所有结点查询完毕;
S44、设置Lock_Queue_Datagram为解锁状态;
S45、等待系统主进程的消息传递的指令信息,
指令信息如果为:继续执行,则转到S41;
指令信息如果为:停止转发过程,则转到S46;
S46、过程结束;
报文转发状态结果处理过程,包括:
S51、查询数据报文队列Queue_Datagram中的编号为ID_Datagram的报文的Status_WM_Slave_Work,Status_WM_Judge_Work,Status_WM_Judge_Result的状态;
如果Status_WM_Slave_Work等于0,并且,Status_WM_Judge_Work等于0,并且,Status_WM_Judge_Result等于0,则设置Status_Datagram的值为0,该报文将进行转发处理;
如果Status_WM_Slave_Work等于0,并且,Status_WM_Judge_Work等于0,并且,Status_WM_Judge_Result等于1,则设置Status_Datagram的值为1,该报文将禁止转发;
S52、查询数据报文队列Queue_Datagram中的编号为ID_Datagram的报文的下一个结点;
S53、如果当前结点是数据报文队列Queue_Datagram的队尾,则等待系统主进程的消息传递的指令信息;
指令信息如果为:继续执行,则由数据报文队列Queue_Datagram的队列头结点开始继续报文转发状态结果处理过程,转到S51;
指令信息如果为:停止处理过程,则转到S55;
指令信息如果为:处理编号为ID_Datagram的报文,则在数据报文队列Queue_Datagram中找到编号为ID_Datagram的结点,转到S51;
指令信息如果为:指定处理过程等待Time时间,然后重新开始,则转到S54;
S54、等待给定的Time时间后,由数据报文队列Queue_Datagram的队列头结点开始继续报文转发状态结果处理过程,转到S51;
S55、过程结束;
报文鉴别过程,记为:WM_Judge,包括:
S61、获得报文鉴别队列Queue_Judge的当前结点的报文编号ID_Datagram;
S62、查询Queue_CoreStatusWork的处理器工作状态,如果处理器编号ID_Core的当前工作状态CoreStatusWork为空闲,则转到S63;否则,继续查询;
S63、将队列Queue_CoreStatusWork的处理器编号ID_Core的当前工作状态CoreStatusWork设置为忙;
S64、查找数据报文队列Queue_Datagram的报文编号ID_Datagram的结点,设置Status_WM_Judge_Work的状态值为1;获得ID_Datagram_AddressInfo的信息;
S65、从ID_Datagram_AddressInfo的数据报文中获得Location_i位置的鉴别字符串String,将字符串String与Set_MatchingPattern_Info中的模式进行匹配;
如果匹配成功,则设置Status_WM_Judge_Result等于1;
如果匹配失败,则将Status_WM_Judge_Count的值减去1;
S66、如果Status_WM_Judge_Count等于0,则设置Status_WM_Judge_Work等于0;
如果Status_WM_Judge_Count大于0,则设置Status_WM_Judge_Work等于1;
S67、如果Status_WM_Judge_Count等于0,并且,Status_WM_Judge_Work等于0,则设置Status_WM_Judge_Result等于0;
S68、将当前处理结点移出报文鉴别队列Queue_Judge,将队列Queue_CoreStatusWork的处理器编号ID_Core的当前工作状态CoreStatusWork设置为空闲;
S69、过程结束;
基于WM算法的报文处理过程,记为:WM_Slave,包括:
S71、从数据报文队列Queue_Datagram获得当前结点的报文编号ID_Datagram;
S72、查询Queue_CoreStatusWork的处理器工作状态,如果处理器编号ID_Core的当前工作状态CoreStatusWork为空闲,则转到S73;否则,继续查询;
S73、将报文编号ID_Datagram的Status_WM_Slave_Work的状态值设置为1,即正在处理过程中,将队列Queue_CoreStatusWork的处理器编号ID_Core的当前工作状态CoreStatusWork设置为忙;
S74、获得报文编号ID_Datagram的ID_Datagram_AddressInfo的信息,并消息传递获得报文的拷贝;设置报文的处理状态Status_Datagram等于2;
S75、Location_i记录当前报文的处理位置,blc为WM算法当前处理的字符串,Location_i的初始值设定为Len(blc);
S76、如果在Table_Shift_B表中,字符串blc对应的Hash(blc)的偏移值Offset等于0,则建立报文鉴别队列Queue_Judge的新结点NewPoint包含:ID_Datagram,Location_i,将SubSet_Pattern模式集合的信息复制给Set_MatchingPattern_Info,将新结点NewPoint插入到报文鉴别队列Queue_Judge中;在数据报文队列Queue_Datagram当前结点的报文编号ID_Datagram中,设置Status_WM_Judge_Count=Status_WM_Judge_Count+1;设置Location_i=Location_i+1;
S77、如果在Table_Shift_B表中,字符串blc对应的Hash(blc)的偏移值Offset不等于0,则Location_i=Location_i+Offset;如果Location_i大于报文的长度,则设置Location_i为报文的最末位置;
S78、如果Location_i小于等于报文的长度,则转到S76;否则,转到S79;
S79、在数据报文队列Queue_Datagram当前结点的报文编号ID_Datagram中,设置Status_WM_Slave_Work等于0;
如果Status_WM_Judge_Count等于0,设置Status_WM_Judge_Work等于0,设置Status_WM_Judge_Result等于0;
S710、将队列Queue_CoreStatusWork的处理器编号ID_Core的当前工作状态CoreStatusWork设置为空闲;
S711、过程结束;
利用WM算法对数据报文队列进行并行筛选的过程,记为Parallel_WM_Execute,包括:
S81、获得数据报文队列Queue_Datagram的头结点,并设置为当前结点CurrentPoint;
S82、查询Queue_CoreStatusWork的处理器工作状态,如果处理器编号ID_Core的当前工作状态CoreStatusWork为空闲,则转到S83;如果队列Queue_CoreStatusWork中的所有处理器均为忙状态,继续查询,转到S82;
S83、消息传递Message(CurrentPoint,WM_Slave,ID_Core),在编号为ID_Core的处理器中对数据报文队列Queue_Datagram的当前结点CurrentPoint执行WM算法的报文处理过程WM_Slave;
S84、依次遍历数据报文队列,当前结点CurrentPoint指向下一个结点;
S85、接收系统主进程的消息传递的指令信息;
指令信息如果为:继续执行,如果当前结点为队尾,则当前结点指向队列Queue_Datagram的头结点;转到S82;
指令信息如果为:停止处理过程,则转到S86;
S86、过程结束;
对报文鉴别队列Queue_Judge进行并行审查的过程,记为Parallel_Check,包括:
S91、获得报文鉴别队列Queue_Judge的头结点,并设置为当前结点CurrentPoint;
S92、查询Queue_CoreStatusWork的处理器工作状态,如果处理器编号ID_Core的当前工作状态CoreStatusWork为空闲,则转到S93;如果队列Queue_CoreStatusWork中的所有处理器均为忙状态,继续查询,转到S92;
S93、消息传递Message(CurrentPoint,WM_Judge,ID_Core),在编号为ID_Core的处理器中对报文鉴别队列Queue_Judge的当前结点CurrentPoint执行报文鉴别过程WM_Judge;
S94、依次遍历报文鉴别队列,当前结点CurrentPoint指向下一个结点;
S95、接收系统主进程的消息传递的指令信息;
指令信息如果为:继续执行,如果当前结点为队尾,则当前结点指向队列Queue_Judge的头结点;转到S92;
指令信息如果为:停止处理过程,则转到S96;
指令信息如果为:指定处理过程等待Time时间,然后重新开始,则转到S92;
S96、过程结束。
2.根据权利要求1所述的一种基于MPI的WM串匹配并行算法的网络信息过滤方法,其特征在于,所述Part1包括:
S101、初始化MPI运行环境;
S102、获得多核系统的处理器信息,如果多核系统中的处理器核心数小于7个,则提示用户当前系统不能完成并行执行过程,结束MPI,退出系统;
建立多核系统的处理器的工作状态队列Queue_CoreStatusWork,初始化处理器编号ID_Core和工作状态CoreStatusWork,CoreStatusWork初始值设置为空闲;
用户设定WM算法的Len(B)的数值;
初始化表Table_Shift_B;
执行模式集合Set_Pattern初始化过程;
执行WM算法的表Table_Shift_B的建立过程;
初始化数据报文队列Queue_Datagram;
初始化报文鉴别队列Queue_Judge;
用户设定数据报文队列Queue_Datagram的锁状态;
设置报文缓冲区的入口地址,最大容量,网络带宽信息;
所述Part4包括:
S111、根据网络带宽和多核处理器的负载情况,利用消息传递Message(指令,ID_Core)实现报文转发的控制,即在编号为ID_Core的处理器中执行主程序下达的指令信息;
S112、结束MPI;
S113、过程结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810244135.0A CN108462715B (zh) | 2018-04-24 | 2018-04-24 | 基于mpi的wm串匹配并行算法的网络信息过滤方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810244135.0A CN108462715B (zh) | 2018-04-24 | 2018-04-24 | 基于mpi的wm串匹配并行算法的网络信息过滤方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108462715A CN108462715A (zh) | 2018-08-28 |
CN108462715B true CN108462715B (zh) | 2021-03-12 |
Family
ID=63237161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810244135.0A Expired - Fee Related CN108462715B (zh) | 2018-04-24 | 2018-04-24 | 基于mpi的wm串匹配并行算法的网络信息过滤方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108462715B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111209311B (zh) * | 2018-11-06 | 2024-02-06 | 京东科技控股股份有限公司 | 用于处理数据的方法和装置 |
CN111277604B (zh) * | 2020-01-19 | 2022-04-22 | 牡丹江医学院 | 基于mpi和ip跟踪的堡垒主机防火墙的安全事件预警方法 |
CN115580657B (zh) * | 2022-12-08 | 2023-03-10 | 北京亿赛通科技发展有限责任公司 | 一种基于进程分离的串接流量审计与防护的方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011078108A1 (ja) * | 2009-12-21 | 2011-06-30 | 日本電気株式会社 | マルチプロセッサ環境におけるパターンマッチング方法、及び装置 |
CN104572256A (zh) * | 2013-10-29 | 2015-04-29 | 中国石油化工股份有限公司 | 一种地震处理多核异构并行模式自适应匹配通用计算模型 |
CN107103253A (zh) * | 2017-04-28 | 2017-08-29 | 哈尔滨理工大学 | 基于mpi的ac串匹配并行算法的磁盘敏感信息扫描系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8837878B2 (en) * | 2011-08-24 | 2014-09-16 | Alcatel Lucent | Multi-core optical fiber coupler |
-
2018
- 2018-04-24 CN CN201810244135.0A patent/CN108462715B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011078108A1 (ja) * | 2009-12-21 | 2011-06-30 | 日本電気株式会社 | マルチプロセッサ環境におけるパターンマッチング方法、及び装置 |
CN104572256A (zh) * | 2013-10-29 | 2015-04-29 | 中国石油化工股份有限公司 | 一种地震处理多核异构并行模式自适应匹配通用计算模型 |
CN107103253A (zh) * | 2017-04-28 | 2017-08-29 | 哈尔滨理工大学 | 基于mpi的ac串匹配并行算法的磁盘敏感信息扫描系统 |
Non-Patent Citations (1)
Title |
---|
并行串匹配算法研究;侯淼;《哈尔滨工业大学工学硕士学位论文》;20140601;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108462715A (zh) | 2018-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112558948B (zh) | 一种海量流量下报文识别的方法和装置 | |
JP4598127B2 (ja) | ステートフルなパケット内容マッチング機構 | |
JP4490994B2 (ja) | ネットワークセキュリティデバイスにおけるパケット分類 | |
US7624436B2 (en) | Multi-pattern packet content inspection mechanisms employing tagged values | |
CN108462715B (zh) | 基于mpi的wm串匹配并行算法的网络信息过滤方法 | |
US20130232104A1 (en) | Duplication in decision trees | |
US8797876B2 (en) | Identification of underutilized network devices | |
US10659389B2 (en) | Efficient cascading of flow tables in software defined networks (SDN) | |
US10944724B2 (en) | Accelerating computer network policy search | |
CN104618304B (zh) | 数据处理方法及数据处理系统 | |
CN112422484A (zh) | 确定用于处理安全事件的剧本的方法、装置及存储介质 | |
CN114374531B (zh) | 访问行为控制方法、装置、计算机设备和存储介质 | |
EP3072259A1 (en) | Efficient access control for trigger events in sdn | |
Li et al. | Searching forward complete attack graph generation algorithm based on hypergraph partitioning | |
Afek et al. | Making DPI engines resilient to algorithmic complexity attacks | |
CN116248337A (zh) | 一种基于测试用例自动化生成的协议模糊测试方法及装置 | |
Panda et al. | New directions for network verification | |
CN105653928B (zh) | 一种面向大数据平台的拒绝服务检测方法 | |
CN112994931B (zh) | 一种规则匹配的方法及其设备 | |
Bolodurina et al. | Development and Investigation of Multi-Cloud Platform Network Security Algorithms Based on the Technology of Virtualization Network Functions 1 The research work was funded by RFBR, according to the research projects No. 16-37-60086 mol_a_dk, 16-07-01004, 18-07-01446, 18-47-560016 and the President of the Russian Federation within the grant for state support of young Russian scientists (MK-1624.2017. 9) | |
Chen et al. | Synthesizing state machines for data planes | |
Fang et al. | Network Can Help Check Itself: Accelerating SMT-based Network Configuration Verification Using Network Domain Knowledge | |
JP2017076841A (ja) | 監視装置および監視方法 | |
CN118400200B (zh) | 一种安全策略的编译、集中管控、转发并行方法及装置 | |
Weintraub et al. | Exploiting Temporal Vulnerabilities for Unauthorized Access in Intent-Based Networking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210312 |