CN105045808A - 一种复合规则集匹配方法和系统 - Google Patents

Abstract

本发明公开了一种复合规则集匹配方法和系统，包括：采用多模匹配算法处理从网络信息流中获得的原始文本，获得原始文本中的特征字符串。将特征字符串采用预构的特征字符串规则集中的身份标识号码ID代替，并将代替特征字符串的ID采用十六进制表示。将十六进制形式的ID按顺序输入由预构的正则表达式集合预先构造的自动机中。根据自动机的跳转获得该ID与自动机的匹配结果。其中，预构的特征字符串规则集根据预定的复合规则集构造获得；预构的正则表达式集合根据预构的特征字符串规则集构造获得。通过本发明的方案，能够削弱规则之间的独立性，缩减文本信息的重复读取次数，提高实际匹配速度。

Description

一种复合规则集匹配方法和系统

技术领域

本发明涉及网络信息安全领域，尤其涉及一种复合规则集匹配方法和系统。

背景技术

在网络安全中，模式匹配广泛应用于入侵检测、内容过滤、关键字检索等领域。而现阶段，由于网络信息流量大、待匹配信息内容丰富等原因，传统的单模式和多模式匹配已经在很多实际应用领域无法很好地满足需求。类似“给定的文本需要同时命中多个特征串，且这些串之间需要复合特定的顺序”这类集匹配问题的需求则越来越大，研究的重点已从传统的单模和多模匹配的研究向更复杂的复合规则集匹配进行转移。

目前研究人员对于复合规则匹配的主要研究方法包括传统的确定有限状态自动机DFA方法、多模式匹配算法(AC、FS、WM算法)以及它们的改进方法、基于推理预测的匹配方法以及布尔表达式方法。这些算法有各自的优缺点，传统的DFA方法具有较快的匹配速度，但构造DFA消耗空间较大，构造空间与规则数呈指数型膨胀；多模匹配算法及改进方法拥有较快的匹配速度并且易于实现，但是大多都局限于单条规则匹配的研究，并没有向集合方向拓展；推理预测类算法针对某一特定的模式进行预测匹配时具有较快的匹配速度，但是不具有通用性，而且准确率不高；布尔表达式方法拥有较快的匹配速度和准确性，但是匹配效率受布尔表达式数目影响较为强烈，匹配速度不稳定。更重要的是，他们中大部分算法对于复合规则集匹配的实现手段还是逐条规则进行比对，然后整合获得匹配结果子集的信息。因此，文本信息和规则信息的重复读取次数相对较高。对于小规模规则集和文本集，这类设计方法的性能可以接受。但是当规则集合信息量增大，待匹配文本数目增多时，这类方法就无法在有效的时间内满足匹配的需求。

所以，对于复合规则集的匹配问题，必须想办法缩减文本信息的重复读取次数，从而提高实际匹配的速度。而传统方法最大的问题就是规则之间的独立性，匹配下一条规则时又要重复的读取文本内容。

发明内容

为了解决上述问题，本发明提出了一种复合规则集匹配方法和系统，能够削弱规则之间的独立性，缩减文本信息的重复读取次数，提高实际匹配速度。

为了达到上述目的，本发明提出了一种复合规则集匹配方法，该方法包括：

采用多模匹配算法处理从网络信息流中获得的原始文本，获得原始文本中的特征字符串。

将特征字符串采用预构的特征字符串规则集中的身份标识ID代替，并将代替特征字符串的ID采用十六进制表示。

将十六进制形式的ID按顺序输入由预构的正则表达式集合预先构造的自动机中。

根据自动机的跳转获得该ID与自动机的匹配结果。

其中，预构的特征字符串规则集根据预定的复合规则集构造获得；预构的正则表达式集合根据预构的特征字符串规则集构造获得。

优选地，预构的特征字符串规则集根据预定的复合规则集构造获得包括：

将复合规则集中的每一条复合规则分解成一个特征字符串集合，字符串之间满足偏序关系；其中，每一条复合规则对应一个规则编号，每一条复合规则中的每一个特征字符串对应一个位置编号。

对特征字符串集合中的每个特征字符串进行确定ID，令该ID与每个特征字符串一一对应；其中，每个ID上记载有与其相对应的特征字符串的位置编号和规则编号。

使用该ID代替特征字符串集合中与该ID相对应的特征字符串。

优选地，预构的正则表达式集合根据预构的特征字符串规则集构造获得包括：

将特征字符串规则集中的每个代表字符串的ID表示成十六进制数。

将特征字符串规则集中的偏序关系采用预定的操作符表示。

将属于同一个规则编号下的十六进制数与预定的操作符相组合，构成一个正则表达式；特征字符串规则集中全部规则编号下的全部正则表达式构成正则表达式集合。

其中，预定的操作符满足以下条件：采用十六进制ID表示的字符串能够连续出现并且字符串之间能够间隔任意字符。

优选地，采用多模匹配算法处理从网络信息流中获得的原始文本，获得原始文本中的特征字符串的步骤包括：

将从网络信息流中获得的原始文本作为预构的AC自动机中的A输入AC自动机中。

将原始文本中的字符串与AC自动机中的A相匹配，将与AC自动机中的A匹配一致的原始文本中的字符串作为原始文本的特征字符串。

其中，AC自动机中的A是由预构的特征字符串规则集中的字符串生成的。

优选地，将十六进制形式的ID按顺序输入由预构的正则表达式集合预先构造的自动机中包括：

将正则表达式集合中的全部正则表达式中的所有ID按照规则编号和位置编号的顺序输入到预先构造的确定性有限状态DFA自动机中的D中。

其中，DFA自动机中的D由预构的正则表达式集合中的正则表达式生成。

本发明还提出一种复合规则集匹配系统，该系统包括：特征字符串获得模块、替换模块、输入模块和结果模块。

特征字符串获得模块，用于采用多模匹配算法处理从网络信息流中获得的原始文本，获得原始文本中的特征字符串。

替换模块，用于将特征字符串采用预构的特征字符串规则集中的身份标识ID代替，并将代替特征字符串的ID采用十六进制表示。

输入模块，用于将十六进制形式的ID按顺序输入由预构的正则表达式集合预先构造的自动机中。

结果模块，用于根据自动机的跳转获得该ID与自动机的匹配结果。

其中，预构的特征字符串规则集根据预定的复合规则集构造获得；预构的正则表达式集合根据预构的特征字符串规则集构造获得。

优选地，该系统还包括第一构造模块；第一构造模块根据预定的复合规则集构造预构的所述特征字符串规则集的步骤包括：

将复合规则集中的每一条复合规则分解成一个特征字符串集合，字符串之间满足偏序关系；其中，每一条复合规则对应一个规则编号，每一条复合规则中的每一个特征字符串对应一个位置编号。

对特征字符串集合中的每个特征字符串确定ID，令该ID与每个特征字符串一一对应；其中，每个ID上记载有与其相对应的特征字符串的位置编号和规则编号。

使用该ID代替特征字符串集合中与该ID相对应的特征字符串。

优选地，该系统还包括第二构造模块；第二构造模块根据预构的特征字符串规则集构造正则表达式集合的步骤包括：

将特征字符串规则集中的每个代表字符串的ID表示成十六进制数。

将特征字符串规则集中的偏序关系采用预定的操作符表示。

将属于同一个规则编号下的十六进制数与预定的操作符相组合，构成一个正则表达式；特征字符串规则集中全部规则编号下的全部正则表达式构成正则表达式集合。

其中，预定的操作符满足以下条件：采用十六进制ID表示的字符串能够连续出现并且字符串之间能够间隔任意字符。

优选地，特征字符串获得模块采用多模匹配算法处理从网络信息流中获得的原始文本，获得原始文本中的特征字符串的步骤包括：

将从网络信息流中获得的原始文本作为预构的AC自动机中的A输入AC自动机中。

将原始文本中的字符串与AC自动机中的A相匹配，将与AC自动机中的A匹配一致的原始文本中的字符串作为原始文本的特征字符串。

其中，AC自动机中的A是由预构的特征字符串规则集中的字符串生成的。

优选地，输入模块将十六进制形式的ID按顺序输入由预构的正则表达式集合预先构造的自动机中包括：

将正则表达式集合中的全部正则表达式中的所有ID按照规则编号和位置编号的顺序输入到预先构造的确定性有限状态DFA自动机中的D中。

其中，DFA自动机中的D由预构的正则表达式集合中的正则表达式生成。

与现有技术相比，本发明包括：采用多模匹配算法处理从网络信息流中获得的原始文本，获得原始文本中的特征字符串。将特征字符串采用预构的特征字符串规则集中的身份标识ID代替，并将代替特征字符串的ID采用十六进制表示。将十六进制形式的ID按顺序输入由预构的正则表达式集合预先构造的自动机中。根据自动机的跳转获得该ID与自动机的匹配结果。其中，预构的特征字符串规则集根据预定的复合规则集构造获得；预构的正则表达式集合根据预构的特征字符串规则集构造获得。通过本发明的方案，能够削弱规则之间的独立性，缩减文本信息的重复读取次数，提高实际匹配速度。

附图说明

下面对本发明实施例中的附图进行说明，实施例中的附图是用于对本发明的进一步理解，与说明书一起用于解释本发明，并不构成对本发明保护范围的限制。

图1为本发明的复合规则集匹配方法流程图；

图2为本发明的复合规则集匹配系统框图。

具体实施方式

为了便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述，并不能用来限制本发明的保护范围。

本发明提供了一种各个子特征串之间为偏序的复合规则匹配方法，适用于网络信息安全及文本检索等特征串匹配领域。本发明方案首先对复合规则集进行预处理，将复合规则集拆分成两个规则集，一个为特征字符串规则集，其中的每一个字符串都由复合规则还原过程中得到，且每一特特征字符串都对应一个唯一的ID。另一个是正则表达式集合，其中的每一条规则都是通过“.*”将若干个特征字符串对应的ID连接起来而组成。在匹配过程中，我们使用两轮匹配法。首先使用多模串匹配算法来处理文本，得到原始文本中所命中的特征字符串，并得到其对应的ID。然后，将得到的ID作为“文本”输入，用于正则表达式规则集的匹配，并最终得到匹配的结果。下面将详细介绍本发明的实施方案。

具体地，本发明提出了一种复合规则集匹配方法，如图1所示，该方法包括：

S101、采用多模匹配算法处理从网络信息流中获得的原始文本，获得原始文本中的特征字符串。

优选地，采用多模匹配算法处理从网络信息流中获得的原始文本，获得原始文本中的特征字符串的步骤包括：

S1011、将从网络信息流中获得的原始文本作为预构的AC自动机中的A输入AC自动机中。

S1012、将原始文本中的字符串与AC自动机中的A相匹配，将与AC自动机中的A匹配一致的原始文本中的字符串作为原始文本的特征字符串。

其中，AC自动机中的A是由预构的特征字符串规则集中的字符串生成的。

S102、将特征字符串采用预构的特征字符串规则集中的身份标识ID代替，并将代替特征字符串的ID采用十六进制表示。其中，预构的特征字符串规则集根据预定的复合规则集构造获得。

优选地，预构的特征字符串规则集根据预定的复合规则集构造获得包括：

S1021、将复合规则集中的每一条复合规则分解成一个特征字符串集合，字符串之间满足偏序关系；其中，每一条复合规则对应一个规则编号，每一条复合规则中的每一个特征字符串对应一个位置编号。

S1022、对特征字符串集合中的每个特征字符串确定ID，令该ID与每个特征字符串一一对应；其中，每个ID上记载有与其相对应的特征字符串的位置编号和规则编号。

S1023、使用该ID代替特征字符串集合中与该ID相对应的特征字符串。

S103、将十六进制形式的ID按顺序输入由预构的正则表达式集合预先构造的自动机中。其中，预构的正则表达式集合根据预构的特征字符串规则集构造获得。

优选地，预构的正则表达式集合根据预构的特征字符串规则集构造获得包括：

S1031、将特征字符串规则集中的每个代表字符串的ID表示成十六进制数。即，采用‘0’～‘F’这16个字符来表示该ID。

S1032、将特征字符串规则集中的偏序关系采用预定的操作符表示。

S1033、将属于同一个规则编号下的十六进制数与预定的操作符相组合，构成一个正则表达式；特征字符串规则集中全部规则编号下的全部正则表达式构成正则表达式集合。

其中，预定的操作符满足以下条件：采用十六进制ID表示的字符串能够连续出现并且字符串之间能够间隔任意字符。

在本发明实施例中，预定的操作符可以选用“.*”操作符。

优选地，将十六进制形式的ID按顺序输入由预构的正则表达式集合预先构造的自动机中包括：

将正则表达式集合中的全部正则表达式中的所有ID按照规则编号和位置编号的顺序输入到预先构造的确定性有限状态DFA自动机中的D中。

其中，DFA自动机中的D由预构的正则表达式集合中的正则表达式生成。

S104、根据自动机的跳转获得该ID与自动机的匹配结果。

下面经通过具体实施例来机一部介绍本发明的方案。

本发明的方案中具体包括两个过程：预处理过程和匹配过程。

1、预处理过程如下：

1.1)抽取出复合规则集S中的每一个关键字(即，特征字符串)Rij(i为规则的编号，j为关键字在规则内的位置)，形成关键字集合：R。其中，Rij之间满足偏序关系。

1.2)对R中的每个关键字进行id编号，即，将Rij转变为IDij(Rij->IDij)，IDij从0x0001开始，并将关键字Rij和IDij的对应关系存储在数据结构T中。

1.3)由IDij生成对应的正则表达式Express_i＝IDi1.*IDi2.*…..IDij.*…..。

1.4)R中的关键字生成AC自动机A，并使用Express_set中的正则表达式生成DFA自动机D。

2、匹配过程如下：

2.1)将原始文本TEXT作为AC自动机A的输入，找到文本里是包含的关键字Rij，得到匹配结果result_text＝{Rx1y1，Rx2y2，…}。

2.2)将2.1)得到的匹配结果result_text中含有的关键字信息Rxy与T里面的对应关系进行比对，将关键字信息转化为id信息。即，将result_text＝{Rx1y1，Rx2y2，…}转化为Result_id＝{IDx1y1,IDx2y2,....}。

2.3)将reqult_id中的所有ID作为DFA的输入按照顺序输入到DFA自动机的D中，并等待DFA自动机的跳转最终得到结果。

需要说明的是：

1、本发明方案中所提到的规则预处理方法，即：规则分析与ID标定，适用于本说明所提到的应用领域以及其它任何需要进行规则处理方法的领域以及规则处理方法中。

2、本发明方案方案中所提供的复合规则集匹配方法为一个通用方法。在匹配过程中可以根据规则集的特点选择不同的多模特征匹配算法来完成原始文本的处理，并使用各种正则表达式匹配方法来完成正则表达式的匹配。包括但不限于：基于自动机的方法以及各种自动机方法的改进方法。

本发明还提出一种复合规则集匹配系统01，如图2所示，该系统包括：特征字符串获得模块02、替换模块03、输入模块04和结果模块05。

特征字符串获得模块02，用于采用多模匹配算法处理从网络信息流中获得的原始文本，获得原始文本中的特征字符串。

优选地，特征字符串获得模块02采用多模匹配算法处理从网络信息流中获得的原始文本，获得原始文本中的特征字符串的步骤包括：

将从网络信息流中获得的原始文本作为预构的AC自动机中的A输入AC自动机中。

将原始文本中的字符串与AC自动机中的A相匹配，将与AC自动机中的A匹配一致的原始文本中的字符串作为原始文本的特征字符串。

其中，AC自动机中的A是由预构的特征字符串规则集中的字符串生成的。

替换模块03，用于将特征字符串采用预构的特征字符串规则集中的身份标识号码ID代替，并将代替特征字符串的ID采用十六进制表示。其中，预构的特征字符串规则集根据预定的复合规则集构造获得。

优选地，该系统还包括第一构造模块06；第一构造模块06根据预定的复合规则集构造预构的所述特征字符串规则集的步骤包括：

将复合规则集中的每一条复合规则分解成一个特征字符串集合，字符串之间满足偏序关系；其中，每一条复合规则对应一个规则编号，每一条复合规则中的每一个特征字符串对应一个位置编号。

对特征字符串集合中的每个特征字符串确定ID，令该ID与每个特征字符串一一对应；其中，每个ID上记载有与其相对应的特征字符串的位置编号和规则编号。

使用该ID代替特征字符串集合中与该ID相对应的特征字符串。

输入模块04，用于将十六进制形式的ID按顺序输入由预构的正则表达式集合预先构造的自动机中。其中，预构的正则表达式集合根据预构的特征字符串规则集构造获得。

优选地，该系统还包括第二构造模块07；第二构造模块07根据预构的特征字符串规则集构造正则表达式集合的步骤包括：

将特征字符串规则集中的每个代表字符串的ID表示成十六进制数。

将特征字符串规则集中的偏序关系采用预定的操作符表示。

将属于同一个规则编号下的十六进制数与预定的操作符相组合，构成一个正则表达式；特征字符串规则集中全部规则编号下的全部正则表达式构成正则表达式集合。

其中，预定的操作符满足以下条件：采用十六进制ID表示的字符串能够连续出现并且字符串之间能够间隔任意字符。

优选地，输入模块将十六进制形式的ID按顺序输入由预构的正则表达式集合预先构造的自动机中包括：

将正则表达式集合中的全部正则表达式中的所有ID按照规则编号和位置编号的顺序输入到预先构造的确定性有限状态DFA自动机中的D中。

其中，DFA自动机中的D由预构的正则表达式集合中的正则表达式生成。

结果模块05，用于根据自动机的跳转获得该ID与自动机的匹配结果。

本发明公开了一种复合规则集匹配方法和系统，包括：特征字符串获得模块02，用于采用多模匹配算法处理从网络信息流中获得的原始文本，获得原始文本中的特征字符串。替换模块03，用于将特征字符串采用预构的特征字符串规则集中的身份标识号码ID代替，并将代替特征字符串的ID采用十六进制表示。输入模块04，用于将十六进制形式的ID按顺序输入由预构的正则表达式集合预先构造的自动机中。结果模块05，用于根据自动机的跳转获得该ID与自动机的匹配结果。其中，预构的特征字符串规则集根据预定的复合规则集构造获得；预构的正则表达式集合根据预构的特征字符串规则集构造获得。通过本发明的方案，能够削弱规则之间的独立性，缩减文本信息的重复读取次数，提高实际匹配速度。

需要说明的是，以上所述的实施例仅是为了便于本领域的技术人员理解而已，并不用于限制本发明的保护范围，在不脱离本发明的发明构思的前提下，本领域技术人员对本发明所做出的任何显而易见的替换和改进等均在本发明的保护范围之内。

Claims (10)

1.一种复合规则集匹配方法，其特征在于，所述方法包括：

采用多模匹配算法处理从网络信息流中获得的原始文本，获得所述原始文本中的特征字符串；

将所述特征字符串采用预构的特征字符串规则集中的身份标识ID代替，并将代替所述特征字符串的所述ID采用十六进制表示；

将十六进制形式的所述ID按顺序输入由预构的正则表达式集合预先构造的自动机中；

根据所述自动机的跳转获得所述ID与所述自动机的匹配结果；

其中，所述预构的特征字符串规则集根据预定的所述复合规则集构造获得；所述预构的正则表达式集合根据所述预构的特征字符串规则集构造获得。

2.如权利要求1所述的方法，其特征在于，所述预构的特征字符串规则集根据预定的所述复合规则集构造获得包括：

将所述复合规则集中的每一条复合规则分解成一个特征字符串集合，所述字符串之间满足偏序关系；其中，所述每一条复合规则对应一个规则编号，所述每一条复合规则中的每一个所述特征字符串对应一个位置编号；

对所述特征字符串集合中的每个特征字符串确定所述ID，令所述ID与所述每个特征字符串一一对应；其中，每个所述ID上记载有与其相对应的所述特征字符串的所述位置编号和所述规则编号；

使用所述ID代替所述特征字符串集合中与所述ID相对应的所述特征字符串。

3.如权利要求2所述的方法，其特征在于，所述预构的正则表达式集合根据所述预构的特征字符串规则集构造获得包括：将所述特征字符串规则集中的每个代表所述字符串的所述ID表示成十六进制数；

将所述特征字符串规则集中的所述偏序关系采用预定的操作符表示；

将属于同一个所述规则编号下的所述十六进制数与所述预定的操作符相组合，构成一个正则表达式；所述特征字符串规则集中全部所述规则编号下的全部所述正则表达式构成所述正则表达式集合；

其中，所述预定的操作符满足以下条件：采用十六进制ID表示的所述字符串能够连续出现并且所述字符串之间能够间隔任意字符。

4.如权利要求1所述的方法，其特征在于，所述采用多模匹配算法处理从网络信息流中获得的原始文本，获得所述原始文本中的特征字符串的步骤包括：

将从网络信息流中获得的所述原始文本作为预构的AC自动机中的A输入所述AC自动机中；

将所述原始文本中的字符串与所述AC自动机中的A相匹配，将与所述AC自动机中的A匹配一致的所述原始文本中的字符串作为所述原始文本的特所述征字符串；

其中，所述AC自动机中的A是由预构的所述特征字符串规则集中的所述字符串生成的。

5.如权利要求3所述的方法，其特征在于，所述将十六进制形式的所述ID按顺序输入由预构的正则表达式集合预先构造的自动机中包括：

将所述正则表达式集合中的全部所述正则表达式中的所有所述ID按照所述规则编号和所述位置编号的顺序输入到预先构造的确定性有限状态DFA自动机中的D中；

其中，所述DFA自动机中的D由预构的所述正则表达式集合中的所述正则表达式生成。

6.一种复合规则集匹配系统，其特征在于，所述系统包括：特征字符串获得模块、替换模块、输入模块和结果模块；

所述特征字符串获得模块，用于采用多模匹配算法处理从网络信息流中获得的原始文本，获得所述原始文本中的特征字符串；

所述替换模块，用于将所述特征字符串采用预构的特征字符串规则集中的身份标识ID代替，并将代替所述特征字符串的所述ID采用十六进制表示；

所述输入模块，用于将十六进制形式的所述ID按顺序输入由预构的正则表达式集合预先构造的自动机中；

所述结果模块，用于根据所述自动机的跳转获得所述ID与所述自动机的匹配结果；

其中，所述预构的特征字符串规则集根据预定的所述复合规则集构造获得；所述预构的正则表达式集合根据所述预构的特征字符串规则集构造获得。

7.如权利要求6所述的系统，其特征在于，所述系统还包括第一构造模块；所述第一构造模块根据预定的所述复合规则集构造所述预构的所述特征字符串规则集的步骤包括：

将所述复合规则集中的每一条复合规则分解成一个特征字符串集合，所述字符串之间满足偏序关系；其中，所述每一条复合规则对应一个规则编号，所述每一条复合规则中的每一个所述特征字符串对应一个位置编号；

对所述特征字符串集合中的每个特征字符串确定所述ID，令所述ID与所述每个特征字符串一一对应；其中，每个所述ID上记载有与其相对应的所述特征字符串的所述位置编号和所述规则编号；

使用所述ID代替所述特征字符串集合中与所述ID相对应的所述特征字符串。

8.如权利要求7所述的系统，其特征在于，所述系统还包括第二构造模块；所述第二构造模块根据所述预构的特征字符串规则集构造所述正则表达式集合的步骤包括：

将所述特征字符串规则集中的每个代表所述字符串的所述ID表示成十六进制数；

将所述特征字符串规则集中的所述偏序关系采用预定的操作符表示；

将属于同一个所述规则编号下的所述十六进制数与所述预定的操作符相组合，构成一个正则表达式；所述特征字符串规则集中全部所述规则编号下的全部所述正则表达式构成所述正则表达式集合；

其中，所述预定的操作符满足以下条件：采用十六进制ID表示的所述字符串能够连续出现并且所述字符串之间能够间隔任意字符。

9.如权利要求6所述的系统，其特征在于，所述特征字符串获得模块采用多模匹配算法处理从网络信息流中获得的原始文本，获得所述原始文本中的特征字符串的步骤包括：

将从网络信息流中获得的所述原始文本作为预构的AC自动机中的A输入所述AC自动机中；

将所述原始文本中的字符串与所述AC自动机中的A相匹配，将与所述AC自动机中的A匹配一致的所述原始文本中的字符串作为所述原始文本的特所述征字符串；

其中，所述AC自动机中的A是由预构的所述特征字符串规则集中的所述字符串生成的。

10.如权利要求8所述的系统，其特征在于，所述输入模块将十六进制形式的所述ID按顺序输入由预构的正则表达式集合预先构造的自动机中包括：

将所述正则表达式集合中的全部所述正则表达式中的所有所述ID按照所述规则编号和所述位置编号的顺序输入到预先构造的确定性有限状态DFA自动机中的D中；

其中，所述DFA自动机中的D由预构的所述正则表达式集合中的所述正则表达式生成。