CN112187935B - 信息识别方法与只读内存 - Google Patents
信息识别方法与只读内存 Download PDFInfo
- Publication number
- CN112187935B CN112187935B CN202011056070.0A CN202011056070A CN112187935B CN 112187935 B CN112187935 B CN 112187935B CN 202011056070 A CN202011056070 A CN 202011056070A CN 112187935 B CN112187935 B CN 112187935B
- Authority
- CN
- China
- Prior art keywords
- information
- identification
- preset
- expression
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90344—Query processing by using string matching techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Communication Control (AREA)
- Computer And Data Communications (AREA)
Abstract
本公开提供一种信息识别方法与只读内存。信息识别方法包括:获取第一信息,所述第一信息包括N个顺次排列的第二信息,N≥1;获取每个所述第二信息对应的识别标识符,所述识别标识符包括n位数据,第m位数据用于指示所述第二信息是否为预设信息序列中的第m个预设信息,1≤m≤n;根据所述第一信息对应的N个识别标识符的值及排序确定所述第一信息是否包括目标信息。本公开提供的信息识别方法可以在提高报文识别速度的同时降低内存资源消耗。
Description
技术领域
本公开涉及电子电路技术领域,具体而言,涉及一种基于FPGA实现的信息识别方法与用于执行该信息识别方法的只读内存。
背景技术
随着网络技术的不断发展,针对服务器的攻击也日益严重。针对流行的洪水攻击,防护设备通常通过对HTTP(Hyper Text Transfer Protocol,超文本传输协议)请求报文的头部Host字段进行识别和源认证来进行防护。由于Host字段的内容、位置、长度不固定,如何高效准确提取Host字段,是实现防护HTTP洪水攻击的关键问题。
现有的提取Host字段的方案通常通过基于DFA(Deterministic FiniteAutomaton,确定有限状态机)或NFA(Nondeterministic Finite Automaton,非确定有限状态机)的正则表达式匹配,实现时需要执行正则表达式→NFA→DFA的转换步骤。基于DFA的匹配有较高的处理速度,但是需要消耗较大的内存空间。基于NFA的匹配逻辑简单,如果设计时基于通用处理器架构,则匹配速度较慢,远远达不到网络数据流量所需的识别速度要求,对于报文单周期处理多字节的性能需求无法实现;如果使用FPGA(Field-ProgrammableGate Array,现场可编程门阵列)方式实现NFA方案,由于FPGA对时序、资源的要求严格,设计时容易造成存储空间膨胀和逻辑级数过高的问题。
因此,需要一种能够同时满足提取HTTP头部Host字段时较高处理速度的性能需求和较低的存储空间需求的信息识别方法。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种基于FPGA实现的信息识别方法与只读内存,用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的报文Host字段识别电路的识别效率低或者存储资源需求多的问题。
根据本公开实施例的第一方面,提供一种信息识别方法,包括:获取第一信息,所述第一信息包括N个顺次排列的第二信息,N≥1;获取每个所述第二信息对应的识别标识符,所述识别标识符包括n位数据,第m位数据用于指示所述第二信息是否为预设信息序列中的第m个预设信息,1≤m≤n;根据所述第一信息对应的N个识别标识符的值及排序确定所述第一信息是否包括目标信息。
在本公开的一种示例性实施例中,所述第一信息为HTTP请求报文,所述第二信息为一个字节的数据,所述预设信息为预设ASCII码,所述目标信息为报文Host字段开始位置或报文Host字段结束位置,N=8。
在本公开的一种示例性实施例中,n=7,所述预设信息序列包括“\r”、“\n”、“H”、“o”、“s”、“t”、“:”。
在本公开的一种示例性实施例中,所述第二信息包括M位数据,所述获取每个所述第二信息对应的识别标识符包括:
根据与所述第二信息对应的只读内存确定所述第二信息对应的识别标识符,所述识别标识符为所述只读内存的输出数据;
其中,所述只读内存包括2M个存储地址,每个所述存储地址用于映射一个ASCII码,所述只读内存在所述第二信息对应的映射结果为所述预设信息序列中的第m个预设ASCII码时,将所述识别标识符中的第m位数据输出为第一值。
在本公开的一种示例性实施例中,一个只读内存按处理时间先后分别对应两个第二信息。
在本公开的一种示例性实施例中,所述根据所述第一信息对应的N个识别标识符的值及排序确定所述第一信息是否包括目标信息包括:
所述第一信息对应的所述N个标识符输入预设级联电路阵列,所述预设级联电路阵列包括级联的n个判断电路,第i个所述判断电路用于在输入的第j+i个标识符为第i预设值时输出第一值,其中,一个所述第一信息具有唯一的j值,1≤i≤N,j≥0;
在所述n个判断电路的输出均为所述第一值时,所述预设级联电路阵列确定所述第一信息包括所述目标信息。
在本公开的一种示例性实施例中,所述预设级联电路阵列对应一个正则表达式,所述n个判断电路对应的n个预设值按照所述n个判断电路的级联顺序构成一个正则表达式。
在本公开的一种示例性实施例中,k个字段相同的多个正则表达式对应的多个预设级联电路阵列共用级联的k个所述判断电路,k≥1。
在本公开的一种示例性实施例中,在所述预设值为非值时,所述判断电路的输入级或者输出级包括取反电路。
根据本公开的第二方面,提供一种只读内存,基于FPGA实现,用于执行如上述任意一项所述的信息识别方法。
本公开实施例通过获取第一信息对应的N个第二信息对应的N个n位的识别标识符,可以判断第二信息是否为预设信息序列中的预设信息,进而根据第一信息对应的N个识别标识符的值和顺序确定第一信息是否包括目标信息,可以利用较少的存储资源(N×n位的识别标识符信息)和逻辑级数实现对第一信息的识别,在通过FPGA实现信息识别时,可以在提高信息识别速率的同时,有效节省存储资源。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本公开示例性实施例中信息识别方法的流程图。
图2是本公开一个实施例中利用双口ROM电路实现双字节数据ASCII码识别的示意图。
图3是本公开一个实施例中识别报文中Host字段位置的示意图。
图4是本公开一个实施例中对级联的判断电路进行复用的示意图。
图5是本公开提供的一种只读内存的示意图。
图6是示出根据示例性实施例的数据处理装置的示意性框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
为了解决提取HTTP头部字段时单周期多字节并行处理的性能需求,同时尽量减少FPGA设计中资源消耗,本公开基于FPGA平台提供了一种NFA提取正则表达式的资源优化方案。
下面结合附图对本公开示例实施方式进行详细说明。
图1示意性示出本公开示例性实施例中信息识别方法的流程图。
参考图1,信息识别方法100可以包括:
步骤S1,获取第一信息,所述第一信息包括N个顺次排列的第二信息,N≥1;
步骤S2,获取每个所述第二信息对应的识别标识符,所述识别标识符包括n位数据,第m位数据用于指示所述第二信息是否为预设信息序列中的第m个预设信息,1≤m≤n;
步骤S3,根据所述第一信息对应的N个识别标识符的值及排序确定所述第一信息是否包括目标信息。
本公开实施例通过获取第一信息对应的N个第二信息对应的N个n位的识别标识符,可以判断第二信息是否为预设信息序列中的预设信息,进而根据第一信息对应的N个识别标识符的值和顺序确定第一信息是否包括目标信息,可以利用较少的存储资源(N×n位的识别标识符信息)和逻辑级数实现对第一信息的识别,在通过FPGA实现信息识别时,可以在提高信息识别速率的同时,有效节省存储资源。
下面,对信息识别方法100的各实施例进行详细说明。
在本公开的一个实施例中,第一信息为HTTP请求报文,第二信息为一个字节的数据。目标信息为Host字段的开始标识或者Host字段的结束标识,以确定Host字段的内容。即,在该实施例中,确定每个HTTP请求报文中是否包括Host字段的开始信息和Host字段的结束信息,以便于后续确定Host字段的内容。当处理单周期HTTP请求报文时,N=8。
在本公开的一个实施例中,预设信息为ASCII码,可以识别HTTP请求报文中每个字节对应的ASCII码,并将该ASCII码映射在一个识别标识符中,以指示该字节的数据是否为需要进行下一步处理的预设ASCII码。该识别标识符具有n位,第m位数据用于指示该第二信息是否为预设信息序列中的第m个预设信息,1≤m≤n。
例如,当本公开实施例用于识别HTTP请求报文中Host字段的开始位置时,需要识别的Host字段的开始标识为“\r\nHost:”,n=7,预设信息序列包括“\r”、“\n”、“H”、“o”、“s”、“t”、“:”。每个字节的数据对应的识别标识符包括7位,第1位在当前字节数据为“\r”时等于1,在当前字节数据不为“\r”时等于0;第2位在当前字节数据为“\n”时等于1,在当前字节数据不为“\n”时等于0,以此类推。如果一个字节数据的ASCII码识别结果为“s”,则该字节对应的识别标识符为“0000100”;如果一个字节的数据的ASCII码识别结果为“\n”,则该字节对应的识别标识符为“0100000”。
为了识别出每个字节的数据对应的ASCII码,本公开实施例设置通过ROM(只读内存)的多个存储地址对一个字节的数据进行映射。即,根据与第二信息对应的只读内存确定第二信息对应的识别标识符,识别标识符为只读内存的输出数据;其中,只读内存包括2M个存储地址,每个存储地址用于映射一个ASCII码,只读内存在第二信息对应的映射结果为预设信息序列中的第m个预设ASCII码时,将识别标识符中的第m位数据输出为第一值。
当一个字节的数据包括8位(8bit)时,该字节的值可能为28=256种ASCII码中的一个。因此,可以在一个只读内存中设置256个存储地址,每个存储地址对应一个ASCII码。当该字节的数据输入只读内存时,只读内存将该字节的数据映射到这个256个存储地址中,以确定该字节的数据的值(ASCII码)。确定一个字节的数据的ASCII码后,该只读内存通过匹配该ASCII码是否为预设ASCII码(例如前文的“\r”、“\n”、“H”、“o”、“s”、“t”、“:”中的任意一个)输出识别标识符,识别标识符每个位的设置请参见上述示例。当一个字节的数据对应一个只读内存(ROM)时,8个字节的数据总共需要占用8*256*7=14kb的ROM存储资源(存储空间)。
在本公开实施例中,通过FPGA实现上述ROM,以提供更高的处理速度。FPGA具有更大的并行度,可以实现多个模块之间同时独立进行计算,在不同逻辑功能之间进行并行运算,进而实现对报文信息的高速处理。由以上分析可知,本公开实施例提供的方法仅需占用较少的存储资源,避免了相关技术通过FPGA实现信息识别时对存储资源的大量占用,有效在利用FPGA的高速处理性能的同时降低了对存储资源的消耗。
在本公开的另一个实施例中,通过FPGA实现上述ROM还可以进一步节约存储资源。
图2是本公开一个实施例中利用双口ROM电路实现双字节数据ASCII码识别的示意图。
参考图2,由于FPGA可以实现双口ROM的特性,即一个只读内存(ROM)可以具有两个输入端和两组输出端,因此,一个通过FPGA实现的双口ROM电路,可以用于按处理时间先后分别处理两个字节的数据(这两个字节的数据分别使用不同的输入端,但是共用256个存储地址),每个字节对应一个7位的识别标识符,此时该两个字节的数据的识别仅需要占用256*7=7kb的ROM存储资源。
通过利用FPGA实现字节数据的ASCII码识别,不但能够利用FPGA的高速并行处理特性,还可以有效降低对存储资源的需求。当设置4个双口ROM电路时,即可在单周期实现对8个字节的识别,进而在时钟频率达到160MHz时,实现10Gb/s的识别速率。
对报文中每个字节对应的ASCII码进行识别,并通过识别标识符进行标识后,需要进一步对该HTTP请求报文是否包括预设信息序列进行识别,即进行正则表达式的识别。在Host字段识别实施例中,由于Host字段的开始位置不确定,预设信息序列“\r\nHost:”中的第一个字符“\r”可以出现在HTTP请求报文的任一个字节,因此,需要对报文的全部字节对应的识别标识符进行序列识别。
在一个实施例中,可以将第一信息对应的N个标识符输入预设级联电路阵列,预设级联电路阵列包括级联的n个判断电路,第i个判断电路用于在输入的第j+i个标识符为第i预设值时输出第一值,其中,一个第一信息具有唯一的j值,1≤i≤N,j≥0;然后,在n个判断电路的输出均为第一值时,预设级联电路阵列确定第一信息包括目标信息。
在本公开实施例中,预设级联电路阵列对应一个正则表达式,n个判断电路对应的n个预设值按照n个判断电路的级联顺序构成一个正则表达式。
例如,对于识别Host字段开始位置的实施例,可以设置级联的7个判断电路,第1个判断电路用于识别一个代表“\r”的识别标识符,第2个判断电路用于识别一个代表“\n”的识别标识符,以此类推,第7个判断电路用于识别一个代表“:”的识别标识符。
当j=1,即级联电路中第1个判断电路识别出HTTP请求报文中的第1个字节对应的识别标识符代表该字节数据的ASCII码对应“\r”时,第2个判断电路对HTTP请求报文中的第2字节对应的识别标识符进行识别,如果识别到代表“\n”的识别标识符,则第3个判断电路对HTTP请求报文中的第3字节对应的识别标识符进行识别。以此类推,直至第7个判断电路识别出报文中第7个字节对应的识别标识符代表“:”,则确定该部分报文中包括Host字段的开始位置。
当j=2,即即级联电路中第1个判断电路识别出HTTP请求报文中的第2个字节对应的识别标识符代表该字节数据的ASCII码对应“\r”时,第2个判断电路对HTTP请求报文中的第3字节对应的识别标识符进行识别,如果识别到代表“\n”的识别标识符,则第3个判断电路对HTTP请求报文中的第4字节对应的识别标识符进行识别。以此类推,直至第7个判断电路识别出报文中第8个字节对应的识别标识符代表“:”,则确定该部分报文中包括代表Host字段的开始位置的正则表达式(或者称为字符串)“\r\nHost:”。
j值可以为多种,本公开于此不再赘述。
图3是本公开一个实施例中识别报文中Host字段位置的示意图。
参考图3,为了识别报文中的Host字段位置,首先可以在ASCII码识别模块31对报文中的每个字节进行持续的ASCII码识别,将每个字节对应的识别标识符顺次同时输入第一预设级联电路阵列32和第二预设级联电路阵列33,以实现对Host字段开始标识“\r\nHost:”的识别和Host字段结束标识“\r\nHost:[^\r]*\r\n”的识别。在第一预设级联电路阵列32和第二预设级联电路阵列33均输出代表识别到正则表达式对应的字符串的输出结果时,判断模块34判断识别到Host字段的位置并根据该位置并输出识别结果,以在后续处理模块中提取出Host字段的内容并进行验证,防范洪水攻击等网络攻击。
在本公开实施例中,各判断电路相互独立,每个判断电路均用于识别不同的ASCII码,将多个ASCII码对应的判断电路级联,即可实现对基于ASCII码的正则表达式的识别。由于各判断电路均可以识别独立的ASCII码,通过不同的连接方式,可以实现“*”(子表达式出现一次或多次)或者“+”(子表达式出现零次或多次)的正则表达式判断设置,对于复杂的正则表达式仅需要较少的判断电路即可实现。在一些实施例中,每个判断电路在判断输入的识别标识符为预设值时,输出第一值(例如1),并向同一个预设级联电路阵列中级联的下一级判断电路传递下一个识别标识符,此时,可以在全部判断电路的输出均为该第一值时确定这些识别标识符对应的字节为目标信息;在判断输入的识别标识符不为该判断电路对应的预设值时,既可以输出第二值(例如0)并向下一级判断电路传递下一个识别标识符,也可以直接将该下一个识别标识符传递到预设级联电路阵列的第一级判断电路进行识别。利用级联的判断电路对报文对应的识别标识符进行正则表达式识别的方式可以有多种,本公开不以此为限。
本公开中判断电路也可以称为查找电路,即查找该识别标识符对应的预设值的电路。此外,本公开实施例中的判断电路既可以通过FPGA实现,也可以通过其他独立电路实现,本公开对此不作特殊限制。
通过设置独立的判断电路并对判断电路进行级联以识别正则表达式,当需要识别多个正则表达式,且这些正则表达式中的部分字符及其顺序相同时,可以共用级联的部分判断电路。
图4是本公开一个实施例中对级联的判断电路进行复用的示意图。
参考图4,如需识别(\r\nHost:)、(\r\nHost:[^\r]*\r\n)、(\r\nCookie:)、(\r\nCookie:[^\r]*\r\n)四个正则表达式,这四个任务可以复用级联的“\r”对应的判断电路和“\n”对应的判断电路,同时,第一个任务和第二个任务可以复用级联的“\r”、“\n”、“H”、“o”、“s”、“t”、“:”判断电路,第三个和第四个任务可以复用级联的“C”、“o”、“o”、“k”、“i”、“e”、“:”判断电路。
不复用判断电路时,上述四个正则表达式共需要使用38份判断电路来判断38个字符的先后顺序,在复用级联后的判断电路时,只需要设置20个判断电路即可,可以明显减少资源消耗。
需要说明的是,在识别如[^\r]这种取非的表达式(即一个判断电路用于判断输入数据不为“\r”)时,仅需要对[\r]的识别结果取反即可,例如可以在对应[\r]的判断电路的输入级或者输出级设置取反电路即可,以进一步节约存储资源。
通过上述设置,在FPGA中仅需要使用1级逻辑级数即可实现对报文中每个字节数据的ASCII码识别,进而可以通过可复用的级联的判断电路实现对报文的正则表达式识别,以确定报文中是否存在预设信息,例如HOST字段的开始位置和结束位置、Cookie字段的开始位置和结束位置等。
图5是本公开提供的一种只读内存的示意图。
参考图5,只读内存500可以通过FPGA实现,用于执行如上所述的信息识别方法。
图6是示出根据示例性实施例的数据处理装置的示意性框图。如图6中所示,根据示例性实施例的数据处理装置可以包括接收单元110、表达式构造单元130和识别单元150。
根据示例性实施例的数据处理装置可以被实现为能够与外部(例如,互联网)通信并能够对来自外部(例如,互联网)的数据进行处理的专用的处理单元,例如,现场可编程门阵列FPGA(field programmable gate array),或者,可以被实现为例如中央处理单元CPU的通用的处理单元。下文中,将以FPGA作为数据处理装置的示例性实施例进行描述。在这样的示例性实施例中,接收单元110、表达式构造单元130和识别单元150以及将要描述的数据出合理装置可以包括的其他单元和元件可以是FPGA中的实现相应的功能或操作的模块,或者可以是连接到FPGA的实现相应功能或操作的独立的硬件。此外,与其他类型的处理单元相比,普通的FPGA能够提供的资源可能有限,例如,可能具有内部存储容量相对较小、运行时钟频率相对较低、单个处理周期处理性能相对较小等特点。
接收单元110可以接收来自诸如互联网的外部的数据,例如超文本传送协议HTTP请求信息,以作为待处理数据。
将接收单元110接收了待处理数据时,可以对待处理数据进行处理,以确定目标信息在待处理数据中所处的位置,进而能够提取目标信息。为此,表达式构造单元130可以使用目标信息的开始位置识别码、类型识别码、结束位置识别码来构造识别表达式,然后位置识别单元150可以根据构造的识别表达式来识别目标信息在待处理数据中的位置。为了能够区分接收的待处理数据,例如HTTP请求是否为进行洪水攻击的请求,目标信息可以为包括在HTTP请求的头部处的host字段和/或cookie字段。下文中,将以HTTP请求作为待处理数据,host字段和cookie字段为目标信息为例进行详细描述。
具体地,用于识别host字段在HTTP请求中的位置的表达式,例如,正则表达式可以包括用于识别host字段在HTTP请求中的开始位置的开始位置识别表达式和用于识别host字段在HTTP请求中的结束位置的结束位置识别表达式:
host字段开始位置识别表达式:\r\nHost:;
host字段结束位置识别表达式:\r\nHost:[^\r]*\r\n。
类似地,用于识别cookie字段在HTTP请求中的位置的表达式,例如,正则表达式可以包括用于识别cookie字段在HTTP请求中的开始位置的开始位置识别表达式和用于识别cookie字段在HTTP请求中的结束位置的结束位置识别表达式:
cookie字段开始位置识别表达式:\r\nCookie:;
cookie字段结束位置识别表达式:\r\nCookie:[^\r]*\r\n。
为了构造这样的正则表达式,表达式构造单元130可以使用开始位置子表达式、类型子表达式和结束位置子表达式。这里,子表达式也可以称为识别码。例如,可以将host字段开始位置识别表达式、host字段结束位置识别表达式、cookie字段开始位置识别表达式、cookie字段结束位置识别表达式中的相同的部分定义为子表达式,例如:
第一(开始位置)子表达式:\r\n;
第二(host类型)子表达式:Host:;
第三(cookie类型)子表达式:Cookie:;
第四(结束位置)子表达式:[^\r]*\r\n。
表达式构造单元130可以使用第一(开始位置)子表达式和第二(host类型)子表达式来构造host字段开始位置识别表达式、使用第一(开始位置)子表达式、第二(host类型)子表达式和第四(结束位置)子表达式来构造host字段结束位置识别表达式、使用第一(开始位置)子表达式和第三(cookie类型)子表达式来构造cookie字段开始位置识别表达式、使用第一(开始位置)子表达式、第三(cookie类型)子表达式和第四(结束位置)子表达式来构造cookie字段结束位置识别表达式。然而,也可以以其他方式来定义子表达式,例如,第四(结束位置)子表达式也可以被构造为\r\n…[^\r]*\r\n。
为了减少对诸如FPGA的数据处理装置的资源的占用并提高数据处理装置的效率,表达式构造单元130可以复用子表达式。例如,因为用于构造host字段开始位置识别表达式的第一(开始位置)子表达式与用于构造cookie字段开始位置识别表达式的第一(开始位置)子表达式相同,所以当表达式构造单元130在利用第一(开始位置)子表达式和第二(host类型)子表达式构造了host字段开始位置识别表达式之后构造cookie字段开始位置识别表达式时,表达式构造单元130可以重复使用已经在之前构造host字段开始位置识别表达式时使用的第一(开始位置)子表达式和新的第三(cookie类型)子表达式,从而可以不需要将第一(开始位置)子表达式重新读取到例如从诸如FPGA的数据处理装置的内部存储器(例如缓存)ROM中,或者可以不需要从诸如FPGA的数据处理装置的内部存储器(例如缓存)ROM中重新读取第一(开始位置)子表达式。
根据示例性实施例,可以将用于构成正则表达式和/或子表达式的字符,例如ASCII码字符,存储在例如FPGA的数据处理装置的内部存储器和/或缓存中。为此,数据处理装置可以包括字符识别单元170。字符识别单元可以根据期望处理或提取的目标信息确定目标信息的开始位置识别码/子表达式、类型识别码/子表达式、结束位置识别码/子表达式。例如,当目标数据为host字段时,字符识别单元170可以确定用于host字段的开始位置子表达式\r\n、host类型子表达式Host:、结束位置子表达式:[^\r]*\r\n。这里,字符识别单元170可以根据用于确定host字段在HTTP请求中的位置的正则表达式\r\nHost:和\r\nHost:[^\r]*\r\n,确定这样的正则表达式中可以复用的部分,然后将可以复用的部分和不可复用的部分分别确定为上述子表达式。存储地址对应输入报文的需要识别内容的ASCII码。当基于报文要识别的内容的ASCII码对应上ROM的ASCII码地址编码时,这个ROM的ASCII码地址编码对应的比特就会输出一个识别标志,例如“1”,意味着识别成功,从而下一阶段就利用该识别标识。从本质上而言,技术交底书中的ROM是一个筛子,对报文需要识别的内容逐一筛一遍,这样按照报文识别内容ASCII码去查找ROM的ASCII编码地址,对应上,就输出对应编码中存储的识别标识,从而实现访问或读取到即对应识别的过程。例如,字符识别单元170可以将这些子表达式中的相同的字符识别出来,如果一个字节数据的ASCII码识别结果为“s”,则该字节对应的识别标识符为“0000100”;如果一个字节的数据的ASCII码识别结果为“\n”,则该字节对应的识别标识符为“0100000”。基于报文中要识别的内容的ASCII码去访问ROM,对应上ASCII码编码地址,则输出ASSCII编码地址下存储识别标识,那些没有对应的编码地址下的比特位就不输出信号。如此,可以整合相同的ASCII码,从而节约FPGA的内部存储空间,以使得存储ASCII码所占用的空间不会过度膨胀。此外,这样的存储方式可以获得单周期处理8字节的性能,对于时钟频率160M系统即可实现10Gb/s识别速率,识别速率高。同时,FPGA实现时逻辑级数最多仅1级,即使更高的时钟频率都能满足时序约束要求。
然后,为了使用存储的字符构造子表达式,根据示例性实施例的数据处理装置还可以包括识别码构造单元190。例如在上面的示例中,识别码构造单元190可以利用存储在例如FPGA的内部存储器/缓存ROM中的字符\r、\n、H、o、s、t、:来构造host字段的开始位置子表达式\r\n、host类型子表达式Host:、结束位置子表达式:[^\r]*\r\n。
然后,虽然在图6中没有示出,但是示例性实施例的数据处理装置还可以包括目标信息提取单元。目标信息提取单元可以根据识别单元150识别的目标信息在待处理数据中的位置从待处理数据中提取目标信息。
如此,通过字符整合存储以及复用正则表达式中的相同的子表达式,可以减少FPGA的资源消耗。例如,当识别host字段和cookie字段的位置时,可以在不影响查找结果的情况下,通过上述的字符整合和子表达式复用而仅后仅消耗20份查找电路来创建正则表达式。相较于不进行复用的方式所消耗的38份查找电路,根据示例性实施例的数据处理装置明显减少资源消耗。
可选择地,根据本公开的一种数据处理装置包括:接收单元,被构造为接收来自外部的待处理数据;表达式构造单元,被构造为使用目标信息的开始位置识别码、类型识别码、结束位置识别码来构造识别表达式;位置识别单元,被构造为根据构造的识别表达式来识别目标信息在待处理数据中的位置。所述表达式构造单元被构造为确定构造当前的识别表达式所将使用的开始位置识别码、类型识别码、结束位置识别码中的至少一种与在构造当前的识别表达式之前构造之前的识别表达式所使用的开始位置识别码、类型识别码、结束位置识别码中的至少一种是否相同,并在确定构造当前的识别表达式所将使用的开始位置识别码、类型识别码、结束位置识别码中的至少一种与在构造当前的识别表达式之前构造之前的识别表达式所使用的开始位置识别码、类型识别码、结束位置识别码中的至少一种相同时,使用确定相同的构造之前的识别表达式所使用的开始位置识别码、类型识别码、结束位置识别码中的至少一种构造当前的识别表达式。识别表达式包括用于识别目标信息在待处理数据中的开始位置的开始位置识别表达式和用于识别目标信息在待处理数据中的结束位置的结束位置识别表达式,其中,表达式构造单元被构造为使用确定相同的构造之前的识别表达式所使用的开始位置识别码和类型识别码构造开始位置识别表达式,并使用确定相同的构造之前的识别表达式所使用的结束位置识别码和类型识别码构造结束位置识别表达式。目标信息包括host字段和cookie字段,表达式构造单元被构造为使用开始位置识别码\r\n、类型识别码Host:、Cookie:和结束位置识别码[^\r]*\r\n来构造host字段的开始位置识别表达式\r\nHost:和host字段的结束位置识别表达式\r\nHost:[^\r]*\r\n、以及cookie字段的开始位置表达式\r\Cookie:和cookie字段的结束位置识别表达式\r\nCookie:[^\r]*\r\n。所述数据处理装置包括:字符识别单元,被构造为根据目标信息确定目标信息的开始位置识别码、类型识别码、结束位置识别码,识别确定的开始位置识别码、类型识别码、结束位置识别码中包括的字符,并将识别的字符存储在所述数据处理装置的内部存储器中。字符识别单元被构造为确定当前识别的字符与在识别当前的字符之前识别的之前的字符或者与对在识别当前的字符之前识别的之前的字符进行取反操作所得的结果是否相同,并在确定当前识别的字符与在识别当前的字符之前识别的之前的字符或者与对在识别当前的字符之前识别的之前的字符进行取反操作所得的结果相同时,不将当前识别的字符存储在所述数据处理装置的内部存储器中。所述数据处理装置包括:识别码构造单元,被构造为在表达式构造单元进行构造时,根据存储在所述数据处理装置的内部存储器中的字符构造开始位置识别码、类型识别码、结束位置识别码。接收单元被构造为接收来自外部的超文本传送协议HTTP请求信息,以作为待处理数据。所述数据处理装置包括提取单元,被构造为根据识别的目标信息在待处理数据中的位置从待处理数据中提取目标信息。所述数据处理装置包括现场可编程门阵列FPGA。
根据本公开的一种数据处理方法包括:接收来自外部的待处理数据;使用目标信息的开始位置识别码、类型识别码、结束位置识别码来构造识别表达式;根据构造的识别表达式来识别目标信息在待处理数据中的位置。构造识别表达式的步骤包括:确定构造当前的识别表达式所将使用的开始位置识别码、类型识别码、结束位置识别码中的至少一种与在构造当前的识别表达式之前构造之前的识别表达式所使用的开始位置识别码、类型识别码、结束位置识别码中的至少一种是否相同,并在确定构造当前的识别表达式所将使用的开始位置识别码、类型识别码、结束位置识别码中的至少一种与在构造当前的识别表达式之前构造之前的识别表达式所使用的开始位置识别码、类型识别码、结束位置识别码中的至少一种相同时,使用确定相同的构造之前的识别表达式所使用的开始位置识别码、类型识别码、结束位置识别码中的至少一种构造当前的识别表达式。识别表达式包括用于识别目标信息在待处理数据中的开始位置的开始位置识别表达式和用于识别目标信息在待处理数据中的结束位置的结束位置识别表达式,构造识别表达式的步骤包括:使用确定相同的构造之前的识别表达式所使用的开始位置识别码和类型识别码构造开始位置识别表达式,并使用确定相同的构造之前的识别表达式所使用的结束位置识别码和类型识别码构造结束位置识别表达式。目标信息包括host字段和cookie字段,其中,构造表达式的步骤包括:使用开始位置识别码\r\n、类型识别码Host:、Cookie:和结束位置识别码[^\r]*\r\n来构造host字段的开始位置识别表达式\r\nHost:和host字段的结束位置识别表达式\r\nHost:[^\r]*\r\n、以及cookie字段的开始位置表达式\r\Cookie:和cookie字段的结束位置识别表达式\r\nCookie:[^\r]*\r\n。所述方法包括识别根据目标信息确定的目标信息的开始位置识别码、类型识别码、结束位置识别码中包括的字符,以存储识别的字符。识别字符的步骤包括:确定当前识别的字符与在识别当前的字符之前识别的之前的字符或者与对在识别当前的字符之前识别的之前的字符进行取反操作所得的结果是否相同,并在确定当前识别的字符与在识别当前的字符之前识别的之前的字符或者与对在识别当前的字符之前识别的之前的字符进行取反操作所得的结果相同时,不存储将当前识别的字符。所述方法包括根据存储的字符构造开始位置识别码、类型识别码、结束位置识别码。接收的步骤包括接收来自外部的超文本传送协议HTTP请求信息以作为待处理数据。所述方法包括根据识别的目标信息在待处理数据中的位置从待处理数据中提取目标信息。
概括而言,ASCII码识别,对于单周期八字节输入报文进行识别。对于host需要识别ASCII码(\r\nHost:),本方案采用内部存储进行ASCII码识别,存储地址对应输入报文的ASCII码,存储数据对应host的7个ASCII码的识别标志,所以所需的存储容量为八个256x7b内部ROM,即14kb存储空间,同时利用FPGA内部双口ROM的特性,实际仅需7kb的空间。随后,通过正则表达式识别,利用ASCII码识别输出,对数据中存在的正则表达式进行识别,输出host开始及结束位置。通过查找表可以实现正则表达式单个ASCII码匹配,通过不同的连接方式可以实现*(子表达式一次或多次)或+(子表达式零次或多次)操作,以满足报文提取的需要。如图3所示,提取时可以通过正则表达式(\r\nHost:)识别host开始位置,使用(\r\nHost:[^\r]*\r\n)识别host结束位置,即可得到报文host字段所在的位置。而且按复用的思路,在识别host和cookie的位置时可,将开头公共部分(\r\n)的复用;在识别开始/结束位置时,将中间Host/Cookie复用,在不影响查找结果的情况下,复用后仅消耗20份查找电路。相较于复用前38份查找电路明显减少资源消耗。
综上所述,本公开实施例通过使用FPGA实现内部缓存(ROM),通过映射对报文中各字节的ASCII码识别,可以进一步对符合正则表达式的字符串进行识别,至少具有以下技术效果:
1.在利用FPGA实现高速并行处理的同时,降低内部存储资源的消耗;
2.在正则表达式拓展时,对相同ASCII码的识别资源和结果可以整合,节省内部存储资源(即在识别位于预设信息序列的不同位置的两个“o”时,仅需要输出一种识别标识符即可);
3.对[^\s]的识别可复用[\s]识别结果取反即可,从而可以避免占用的存储空间过度膨胀(其中[\s]可以被替换为任意字符);
4.通过FPGA实现上述方法时逻辑级数最多仅1级,即使更高的时钟频率都能满足时序约束要求(即处理速度快,可以在较短的时钟周期内完成数据识别);
5.通过复用正则表达式对应的判断电路可以使用较少的资源实现对多个复杂的正则表达式的判别,进一步减少信息识别所需的资源消耗。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
此外,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和构思由权利要求指出。
Claims (9)
1.一种信息识别方法,其特征在于,基于FPGA实现,包括:
获取作为第一信息的HTTP请求报文,所述第一信息包括N个顺次排列的第二信息,所述第二信息为一个字节的数据,N≥1;
获取每个所述第二信息对应的识别标识符,所述识别标识符包括n位数据,第m位数据用于指示所述第二信息是否为作为预设ASCII码的预设信息序列中的第m个预设信息,1≤m≤n;
根据所述第一信息对应的N个识别标识符的值及排序确定所述第一信息是否包括目标信息,所述目标信息为报文Host字段开始位置或报文Host字段结束位置。
2.如权利要求1所述的信息识别方法,其特征在于,n=7,所述预设信息序列包括“\r”、“\n”、“H”、“o”、“s”、“t”、“:”。
3.如权利要求1所述的信息识别方法,其特征在于,所述第二信息包括M位数据,所述获取每个所述第二信息对应的识别标识符包括:
根据与所述第二信息对应的只读内存确定所述第二信息对应的识别标识符,所述识别标识符为所述只读内存的输出数据;
其中,所述只读内存包括2M个存储地址,每个所述存储地址用于映射一个ASCII码,所述只读内存在所述第二信息对应的映射结果为所述预设信息序列中的第m个预设ASCII码时,将所述识别标识符中的第m位数据输出为第一值。
4.如权利要求3所述的信息识别方法,其特征在于,一个只读内存按处理时间先后分别对应两个第二信息。
5.如权利要求1所述的信息识别方法,其特征在于,所述根据所述第一信息对应的N个识别标识符的值及排序确定所述第一信息是否包括目标信息包括:
所述第一信息对应的所述N个识别标识符输入预设级联电路阵列,所述预设级联电路阵列包括级联的n个判断电路,第i个所述判断电路用于在输入的第j+i个标识符为第i预设值时输出第一值,其中,一个所述第一信息具有唯一的j值,1≤i≤N,j≥0;
在所述n个判断电路的输出均为所述第一值时,所述预设级联电路阵列确定所述第一信息包括所述目标信息。
6.如权利要求5所述的信息识别方法,其特征在于,所述预设级联电路阵列对应一个正则表达式,所述n个判断电路对应的n个预设值按照所述n个判断电路的级联顺序构成一个正则表达式。
7.如权利要求6所述的信息识别方法,其特征在于,k个字段相同的多个正则表达式对应的多个预设级联电路阵列共用级联的k个所述判断电路,k≥1。
8.如权利要求7所述的信息识别方法,其特征在于,在所述预设值为非值时,所述判断电路的输入级或者输出级包括取反电路。
9.一种只读内存,其特征在于,通过FPGA实现,用于执行如权利要求1~8任一项所述的信息识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011056070.0A CN112187935B (zh) | 2020-09-30 | 2020-09-30 | 信息识别方法与只读内存 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011056070.0A CN112187935B (zh) | 2020-09-30 | 2020-09-30 | 信息识别方法与只读内存 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112187935A CN112187935A (zh) | 2021-01-05 |
CN112187935B true CN112187935B (zh) | 2023-02-07 |
Family
ID=73946096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011056070.0A Active CN112187935B (zh) | 2020-09-30 | 2020-09-30 | 信息识别方法与只读内存 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112187935B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113890904B (zh) * | 2021-09-27 | 2023-10-27 | 新华三信息安全技术有限公司 | 一种报文解析的方法、装置、计算机设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102523296A (zh) * | 2011-12-21 | 2012-06-27 | 华为技术有限公司 | 无线网页浏览资源优化方法、装置及系统 |
CN103401850A (zh) * | 2013-07-19 | 2013-11-20 | 北京星网锐捷网络技术有限公司 | 一种报文过滤方法及装置 |
CN109474678A (zh) * | 2018-10-31 | 2019-03-15 | 新华三信息安全技术有限公司 | 一种信息传送方法及装置 |
CN109474568A (zh) * | 2017-12-25 | 2019-03-15 | 北京安天网络安全技术有限公司 | 针对利用域前置技术实现恶意攻击的检测方法及系统 |
CN110300193A (zh) * | 2019-07-01 | 2019-10-01 | 北京微步在线科技有限公司 | 一种获取实体域名的方法和装置 |
CN111147598A (zh) * | 2019-12-30 | 2020-05-12 | 杭州迪普科技股份有限公司 | Http报文处理方法及装置 |
CN111225038A (zh) * | 2019-12-23 | 2020-06-02 | 山石网科通信技术股份有限公司 | 服务器访问方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11843675B2 (en) * | 2018-10-10 | 2023-12-12 | Nec Corporation | Method and system for synchronizing user identities |
-
2020
- 2020-09-30 CN CN202011056070.0A patent/CN112187935B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102523296A (zh) * | 2011-12-21 | 2012-06-27 | 华为技术有限公司 | 无线网页浏览资源优化方法、装置及系统 |
CN103401850A (zh) * | 2013-07-19 | 2013-11-20 | 北京星网锐捷网络技术有限公司 | 一种报文过滤方法及装置 |
CN109474568A (zh) * | 2017-12-25 | 2019-03-15 | 北京安天网络安全技术有限公司 | 针对利用域前置技术实现恶意攻击的检测方法及系统 |
CN109474678A (zh) * | 2018-10-31 | 2019-03-15 | 新华三信息安全技术有限公司 | 一种信息传送方法及装置 |
CN110300193A (zh) * | 2019-07-01 | 2019-10-01 | 北京微步在线科技有限公司 | 一种获取实体域名的方法和装置 |
CN111225038A (zh) * | 2019-12-23 | 2020-06-02 | 山石网科通信技术股份有限公司 | 服务器访问方法及装置 |
CN111147598A (zh) * | 2019-12-30 | 2020-05-12 | 杭州迪普科技股份有限公司 | Http报文处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112187935A (zh) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6154824B2 (ja) | ステートマシンラチスにおけるブール型論理 | |
US20100153420A1 (en) | Dual-stage regular expression pattern matching method and system | |
US8972450B2 (en) | Multi-stage parallel multi-character string matching device | |
US20130191916A1 (en) | Device and method for data matching and device and method for network intrusion detection | |
JP2015505399A (ja) | 状態機械格子におけるカウンタ動作 | |
CN108628966B (zh) | 一种基于字符串的快速匹配识别方法和装置 | |
CN111935081B (zh) | 一种数据包脱敏方法和装置 | |
CN112187935B (zh) | 信息识别方法与只读内存 | |
CN114760369A (zh) | 一种协议元数据提取方法、装置、设备及存储介质 | |
CN114946167B (zh) | 一种报文解析方法和装置 | |
US20240244013A1 (en) | Method and scheduling management unit for transmitting data packet | |
CN107707548B (zh) | Tlv报文解析方法、装置、电子设备及存储介质 | |
CN103685280B (zh) | 报文匹配方法、状态机编译方法及设备 | |
CN111680303B (zh) | 漏洞扫描方法、装置、存储介质及电子设备 | |
CN115981726A (zh) | 基于fpga的正则表达式匹配引擎、方法及电子设备 | |
JP3233353B2 (ja) | ヘッダ処理装置とそのヘッダ処理方法 | |
CN104778197B (zh) | 一种数据查找方法及装置 | |
CN112737831A (zh) | 一种固件升级包处理方法、装置、电子设备和存储介质 | |
CN113885910A (zh) | 一种基于国产单片机gd32的软件升级方法 | |
CN113238716A (zh) | 数据访问请求的处理方法、装置和电子设备 | |
CN114610958B (zh) | 一种传输资源的处理方法、装置及电子设备 | |
CN115580571B (zh) | 一种报文发送方法、装置、计算设备及存储介质 | |
US8661162B2 (en) | Address handling | |
CN112559812B (zh) | 一种基于cpu+fpga的大数据输出方法及系统 | |
CN117955587B (zh) | 帧同步方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |