CN108399152A - 数字查找树的压缩表示方法、系统、存储介质及规则匹配装置 - Google Patents

Abstract

本发明涉及一种数字查找树的压缩表示方法、系统、存储介质及规则匹配装置。该方法包括：采用完全矩阵表示法建立数字查找树的结点，并建立状态转换表；建立基值表，并利用数组记录叶子结点状态中对应的规则编号；利用基值表对状态行进行归一化，生成归一化矩阵；利用数组来记录归一化矩阵的状态，对归一化矩阵的状态进行去重，得到约简的状态转移矩阵；利用位图对约简的状态转移矩阵进行修正，使其中的元素能够用一个字节来表示；利用基值表、记录归一化矩阵状态的数组、位图和修正后的矩阵进行状态的匹配，并输出匹配结果。本发明以完全矩阵表示法为原型，能够保证结点间状态转移的时间复杂度为O(1)，同时可大幅度减少数据结构的存储空间。

Description

数字查找树的压缩表示方法、系统、存储介质及规则匹配装置

技术领域

本发明属于信息技术、软件技术领域，具体涉及一种数字查找树的压缩表示方法、系统、存储介质及规则匹配装置。

背景技术

Trie，又称为字典树或者数字查找树，是一种常用的表示字符串集合并提供前缀查找功能的数据结构。Trie的每一个结点，对应于字符串的一个前缀。每个结点最多有σ＝|Σ|个后继状态，其中Σ表示字符集。对Trie进行高效、紧凑地表示与压缩，以支持快速的查询操作，是一个基础而重要的问题。

通常，对于Trie的表示方法有如下两种，可以看作是在时间和空间性能上的两个极端：

1.完全矩阵表示法：将Trie表示为N×σ大小的完全矩阵，也称为状态转换表。Trie的每个结点对应于矩阵中的一行，用σ大小的数组来存储种可能的后继状态。对于这种表示方法，结点间状态转换非常快，时间复杂度为O(1)。

2.顺序数组表示法：对于Trie的每一个结点用顺序数组存储该结点的所有出度，在该数组上采用二分查找确定后继状态。其优点是存储空间非常小，与状态数量N线性相关，与字符集大小σ无关。

现有的技术方案主要是上面所述的完全矩阵表示法和顺序数组表示法，这两种方案在空间或匹配时间上都一些不足，具体如下：

1.完全矩阵表示法：这种表示方法的存储空间往往是巨大的。假设Trie的每个结点编号用32位整数表示，则总的空间大小是4Nσ字节。

2.顺序数组表示法：对于这种表示方法，结点间状态转换比较慢，时间复杂度为O(log₂σ)，不能实现快速定位的需求。

发明内容

本发明首先提供一种针对数字查找树的压缩表示方法及系统，该方法及系统以完全矩阵表示法为原型，能够保证结点间状态转移的时间复杂度为O(1)，同时可大幅度减少数据结构的存储空间。

本发明提供的一种数字查找树的压缩表示方法，包括以下步骤：

1)采用完全矩阵表示法建立数字查找树的结点，并建立状态转换表；

2)将查询状态转换表得到的当前状态的最小后继状态作为基值，建立基值表，并利用数组记录叶子结点状态中对应的规则编号；

3)利用基值表对状态行进行归一化，生成归一化矩阵；

4)利用数组来记录归一化矩阵的状态，对归一化矩阵的状态进行去重，得到约简的状态转移矩阵；

5)利用位图对约简的状态转移矩阵进行修正，使其中的元素能够用一个字节来表示，得到修正后的矩阵；

6)利用基值表、记录归一化矩阵状态的数组、位图和修正后的矩阵进行状态的匹配，并输出匹配结果。

下面具体说明本发明的方法，该方法包括初始化阶段和匹配阶段。

1.初始化阶段：

1)对数字查找树中的结点按照完全矩阵表示法的方式建立结点，首先进行层次遍历和顺序编号，根结点的编号为0，每一层的结点编号从左到右顺序递增，所有结点的序号为 0,1,···,N-1，建立状态转换表A[N,σ]。

2)经过上述状态重编号之后，设数字查找树对应的状态转换表为A[N,σ]，t＝A[s,c]表示有一条以c为转移的从状态s到状态t的边，即用A[s,c]＝-1表示状态s没有以c 为转移的后继状态，即s是叶子结点。对于状态s对应的行A[s,·]，选择最小的后继状态作为基值base[s]，即

当s有子结点时，1≤base[s]≤N-1；当结点s为叶子结点时，base[s]＝0。

记录叶子结点状态中对应的规则编号，利用数组match_id来记录，即match_id[s]＝r，s表示数字查找树中的某一个状态，r为匹配上的规则标号。

3)利用base[s]对状态行A[s,·]进行归一化，生成新的归一化矩阵D，操作过程为：对于每个状态行A[s,·]，若A[s,·]＝-1，则矩阵D中相应的值也存储为-1；若A[s,c]≥1，则矩阵D中相应的值为将A[s,·]减去步骤2)中得到的基值base[s]。可以得到矩阵D定义如下：

根据上述状态编号性质，-1<D[s,c]<σ。

4)为了压缩存储空间，对于归一化矩阵D，对其状态行进行去重。具体操作步骤为：用一个大小为N的数组eq来记录矩阵D状态，使得eq[s]＝k，k代表D中与s状态相同的某一状态，由此，可以得到完整的数组eq。

5)由步骤4)，可以建立约简的状态转移矩阵M。矩阵D和矩阵M的行对应关系是：矩阵D中的第s行(即D[s,·])对应于矩阵M中的第eq[s]行，即D[s,·]＝M[eq[s],·]。

6)在串匹配算法中，字符集σ大小往往为256。由于约简矩阵M中的元素M[i,c]的取值范围为[-1,σ-1]，当σ＝256时，无法用一个字节来存储表示，用两个字节表示又浪费存储空间。因此，进一步引入位图bitmap以压缩存储空间。bitmap定义为：

7)由步骤5)和6)，约简矩阵M修正为：

于是，修正后的矩阵m的元素可以用一个字节来表示。

至此，初始化阶段的步骤全部完成。

2.匹配阶段：

当匹配时，数字查找树由上述压缩表示方法包含四个数据结构：base、eq、bitmap和m，可以得出状态转移的公式，表示为：

具体过程如下：

1)如果当前基值为0，即base[s]＝0，则A[s,c]＝-1，返回匹配结果失败；

2)如果当前状态能够和c匹配时，即bitmap[eq[s],c]＝1，转换到下一个状态，转换公式为：A[s,c]＝base[s]+m[eq[s],c]，转到步骤1)操作，直至转换状态的次数达到文本的长度，输出其匹配成功的规则标号match_id[s]；

3)否则，如果当前状态不匹配，即bitmap[eq[s],c]＝0，则返回匹配结果失败。

至此，匹配阶段结束。

显然，在最坏的情况下，上述数字查找树的压缩表示方法的内存访问次数为4。

对于上述方法，理论证明可以得出其存储空间不超过 N(log₂N+log₂(r+σ-1))+9σ(r+σ-1)比特，而匹配的时间复杂度为O(1)。

本发明还提供一种数字查找树的压缩表示系统，其包括：

1)建立状态转换表部件：建立完全矩阵，并进行层次遍历和顺序标号，建立状态转换表A[N,σ]。

2)存储各项辅助表部件：负责存储各项辅助表，包括基值表base、数组match_id、数组eq、归一化矩阵D，约简的状态转移矩阵M、位图bitmap、修正后的矩阵m等表项。

3)匹配数据部件：输入要匹配的数据，根据以上的辅助表项进行匹配。

4)返回结果部件：返回匹配结果，匹配上的规则输出规则号，否则输出未匹配任何规则。

本发明还提供一种非易失性计算机可读存储介质，其存储有计算机程序，当计算机执行所述计算机程序时，所述计算机执行前文所述方法的步骤。

本发明还提供一种规则匹配装置，其包括：

存储单元，负责利用压缩表示的数字查找树存储规则集合；

匹配单元，负责将待匹配的数据与数字查找树中存储的规则进行匹配，并输出匹配结果。

本发明所提出的数字查找树的压缩方法，无论从数字查找树所占用的空间来看，还是从匹配数据的时间来判断，都远远优于完全矩阵方法，因此，本方法及系统是具有广泛的实际价值和应用场景的，能够应用在入侵检测系统、拼写检查、网络流量监测等领域。

附图说明

图1为方法部件图。

图2为数字查找树实例图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。

本实施例的数字查找树的压缩表示方法，采用的规则如表1所示：

表1规则示例

规则标号	规则
		1	aa
2	ab
		3	ac
4	bc
		5	cde

为了便于阐述，字符集Σ设置范围为5，字符集σ集合为{a,b,c,d,e}，相应的位图bitmap 取值只需要5位比特，一个字节已足以表示。但是实际应用中，字符集σ往往为256，一个字节已经可以表示位图。

1.初始化阶段：

1)各条规则按照完全矩阵法建立结点，经过层次遍历和顺序编号，建立数字查找树，如图2所示。层次遍历就是将树结构以层的方式进行编号，先编号完第一行，然后再编号第二行，……如此重复。

2)其存储对应的状态转换表A[s,c]，如表2所示：

表2状态转换表A[s,c]

其中，状态转移c中是ASCII码所表示的数字，例如十进制97表示小写字母“a”，表中所列出的a,b,c等只是为了易于理解表中内容，实际中计算机存储是利用数组存储具体数的。

基值表base如表3所示：

表3基值表base

i	0	1	2	3	4	5	6	7	8	9
											base[i]	1	4	7	8	0	0	0	0	9	0

基值表记录当前状态s最小后继状态，通过查询状态转换表A[s,c]可以得到。当前状态 s为非叶子节点时，选择A[s,·]中最小后继状态编号，当前为s为叶子节点时，记录基值表为 0。

记录叶子结点状态中对应的规则编号，利用数组match_id来记录，如表4所示。

表4数组match_id

i	4	5	6	7	9
						match_id[i]	1	2	3	4	5

3)按照归一化矩阵定义，得到归一化矩阵D，如表5所示：

表5归一化矩阵D

对于每个状态行A[s,·]，若A[s,·]＝-1，即当前为叶子结点，则矩阵D中相应的值也存储为-1；若A[s,c]≥1，则矩阵D中相应的值等于将A[s,·]这一行减去这一行的基值base[s]。

4)找出相应的等价行，得到的eq矩阵，如表6所示：

表6数组eq

i	0	1	2	3	4	5	6	7	8	9
											eq[i]	0	0	2	3	4	4	4	4	8	4

5)所以，简约状态矩阵M如表7所示：

表7简约状态矩阵M

6)位图bitmap如表8所示：

表8位图bitmap

行标号	bitmap
		0	11100
2	00100
		3	00010
4	00000
		8	00001

位图bitmap是按位存储的,从最高位到最低位分别代表a,b,c,d,e。表中所列出的仅仅用了5位，因为本例子中字符集只有5个。

7)修正的矩阵m如表9所示：

表9修正的矩阵m

初始化阶段完毕。

2.匹配阶段：

1)当文本text＝ab时，首先从状态0开始匹配，s＝0，base[0]＝1，eq[0]＝0，转移字符为“a”,bitmap[eq[s],c]＝bitmap[0,'a']＝1,转换到下一个状态， A[s,c]＝base[s]+m[eq[s],c]＝base[0]+m[0,'a']＝1+0＝1，转到状态1，此时，s＝1， base[1]＝4，eq[0]＝0，转移字符为“b”,bitmap[eq[s],c]＝bitmap[0,'b']＝1，转换到下一个状态，A[s,c]＝base[s]+m[eq[s],c]＝base[1]+m[0,'a']＝4+0＝4，由于状态4在数组 match_id中有记录，输出match_id[4]＝1，匹配第一条规则，匹配完毕。

2)当文本text＝ad时，首先从状态0开始匹配，匹配第一个转移字符“a”同上一步匹配过程，不再赘余，转到状态1，此时，s＝1，base[1]＝4，eq[0]＝0，转移字符为“d”,bitmap[eq[s],c]＝bitmap[0,'d']＝0,说明当前状态不匹配，匹配失败。

本发明的另一实施例提供一种数字查找树的压缩表示系统，主要包含以下部件：

1)建立状态转换表部件：建立完全矩阵，并进行层次遍历和顺序标号，建立状态转换表A[N,σ]。

2)存储各项辅助表部件：包括存储基值表base、数组match_id、数组eq、归一化矩阵D，约简的状态转移矩阵M、位图bitmap、修正后的矩阵m等表项。

3)匹配数据部件：输入要匹配的数据，根据以上的辅助表项进行匹配。

4)返回结果部件：返回匹配结果，如果匹配上规则，输出规则号，否则输出未匹配任何规则。

本发明另一实施例还提供一种存储有计算机程序的非易失性计算机可读存储介质，当计算机执行所述计算机程序时，所述计算机执行本发明所述数字查找树压缩方法的步骤。该存储介质可以应用在入侵检测系统、拼写检查、网络流量监测等领域，还可以在计算机硬件单机及多台服务器中运行。

本发明在单机64位Windows7系统(16GB内存，CPU为Intel i5)下作了如下实验。

建立数字查找树的模式串：20000条从《圣经》中随机抽取的2个字符串的 bible_patterns_20000.txt和6254条GRE单词的GRE.txt。

待匹配的数据：《圣经》全文bible.txt。

统计指标：初始化占用空间和匹配数据所用时间。

实验采用了原来的完全矩阵法做对比实验，实验结果如表10所示。

表10实验结果统计

如上表所示，本发明所提出的压缩方法，无论从数字查找树所占用的空间来看，还是从匹配数据的时间来判断，都远远优于完全矩阵方法，因此，本方法及系统是具有广泛的实际价值和应用场景的。

本发明可以应用在入侵检测系统、拼写检查、网络流量监测等领域。比如在入侵检测中，首先需要从待检测的规则集合中一条条构建相应的存储单元，然后利用匹配单元从网络数据或者干路数据中利用构建的存储单元匹配可疑的数据，从而告知用户电脑或者网络环境中存在的威胁。构建的存储单元可以利用本发明中所示的数字查找树的方法来存储相应的规则，利用本发明完成匹配过程。本发明可以使得存储单元空间极大减少，同时匹配过程也可以高效完成。其他应用，例如拼写检查方法中，其中一种方法是将英文词、中文词组作为规则集合进行构建存储单元，在实际用户拼写的时候实时检查用户的输入是否正确，即匹配上了规则是正确，否则就提醒用户检查词组是否有误。上述构建规则的存储单元同样可以用本发明的方法完成。类似的，本发明还可以用于网络流量监测、信息检索、基因检测等领域。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种数字查找树的压缩表示方法，其特征在于，包括以下步骤：

1)采用完全矩阵表示法建立数字查找树的结点，并建立状态转换表；

2)将查询状态转换表得到的当前状态的最小后继状态作为基值，建立基值表，并利用数组记录叶子结点状态中对应的规则编号；

3)利用基值表对状态行进行归一化，生成归一化矩阵；

4)利用数组来记录归一化矩阵的状态，对归一化矩阵的状态进行去重，得到约简的状态转移矩阵；

5)利用位图对约简的状态转移矩阵进行修正，使其中的元素能够用一个字节来表示，得到修正后的矩阵；

6)利用基值表、记录归一化矩阵状态的数组、位图和修正后的矩阵进行状态的匹配，并输出匹配结果。

2.根据权利要求1所述的方法，其特征在于，步骤2)中，设数字查找树对应的状态转换表为A[N,σ]，t＝A[s,c]表示有一条以c为转移从状态s到状态t的边，用A[s,c]＝-1表示状态s没有以c为转移的后继状态，对于状态s对应的行A[s,·]，选择最小的后继状态作为基值base[s]，即

3.根据权利要求2所述的方法，其特征在于，步骤2)利用数组match_id来记录叶子结点状态中对应的规则编号，即match_id[s]＝r，s表示数字查找树中的某一个状态，r为匹配上的规则标号。

4.根据权利要求3所述的方法，其特征在于，步骤3)生成归一化矩阵D的操作过程为：对于每个状态行A[s,·]，若A[s,·]＝-1，则归一化矩阵D中相应的值也存储为-1；若A[s,c]≥1，则矩阵D中相应的值为将A[s,·]减去步骤2)中得到的基值base[s]。

5.根据权利要求4所述的方法，其特征在于，步骤4)包括：

4-1)用一个大小为N的数组eq来记录归一化矩阵D状态，使得eq[s]＝k，k代表D中与s状态相同的某一状态，由此得到完整的数组eq；

4-2)建立约简的状态转移矩阵M，矩阵D和矩阵M的行对应关系是：矩阵D中的第s行对应于矩阵M中的第eq[s]行，即D[s,·]＝M[eq[s],·]。

6.根据权利要求5所述的方法，其特征在于，步骤5)包括：

5-1)定义位图bitmap为：

5-2)对约简的状态转移矩阵M进行修正，得到修正后的矩阵m：

。

7.根据权利要求6所述的方法，其特征在于，步骤6)根据四个数据结构：base、eq、bitmap和m，得出状态转移的公式，表示为：

匹配过程如下：

a)如果当前基值为0，即base[s]＝0，则A[s,c]＝-1，返回匹配结果失败；

b)如果当前状态能够和c匹配时，即bitmap[eq[s],c]＝1，转换到下一个状态，转换公式为：A[s,c]＝base[s]+m[eq[s],c]，转到步骤a)，直至转换状态的次数达到文本的长度，输出其匹配成功的规则标号match_id[s]；

c)如果当前状态不匹配，即bitmap[eq[s],c]＝0，则返回匹配结果失败。

8.一种采用权利要求1所述方法的数字查找树的压缩表示系统，其特征在于，包括：

建立状态转换表部件，负责建立完全矩阵，并进行层次遍历和顺序标号，从而建立状态转换表；

存储各项辅助表部件，负责存储各项辅助表，包括基值表、记录叶子结点规则编号的数组、记录归一化矩阵状态的数组、归一化矩阵、约简的状态转移矩阵、位图、修正后的矩阵；

匹配数据部件，负责输入待匹配的数据，并根据辅助表项进行匹配；

返回结果部件，负责返回匹配结果，匹配上的规则输出规则号，否则输出未匹配任何规则。

9.一种非易失性计算机可读存储介质，其特征在于，存储有计算机程序，当计算机执行所述计算机程序时，所述计算机执行权利要求1～7中任一权利要求所述方法的步骤。

10.一种采用权利要求1所述方法的规则匹配装置，其特征在于，包括：

存储单元，负责利用压缩表示的数字查找树存储规则集合；

匹配单元，负责将待匹配的数据与数字查找树中存储的规则进行匹配，并输出匹配结果。