CN1786962A

CN1786962A - 完美双数组trie树词典管理与检索方法

Info

Publication number: CN1786962A
Application number: CN 200510130690
Authority: CN
Inventors: 张华平; 王思力
Original assignee: Institute of Computing Technology of CAS
Current assignee: Ling Zhong Zhongke software (Beijing) Co., Ltd.
Priority date: 2005-12-21
Filing date: 2005-12-21
Publication date: 2006-06-14
Anticipated expiration: 2025-12-21
Also published as: CN100444167C

Abstract

本发明涉及自然语言处理领域和信息检索领域，特别是一种完美双数组TRIE树词典管理与检索方法。将Trie树结构转换成两个线性数组表示，并在构造过程中提出了一种优化策略。同时提出一种自适应编码方案，以字节为编码单位对字符进行自动编码。包括步骤：(1)将词典用Trie树结构表示；(2)将Trie树转换成两个线性数组；(3)根据用户的输入，利用生成的两个数组实现对词典的检索。其具体步骤包括：步骤1，对词典以字节为单位进行自动编码生成序列码文件；步骤2，将词典用Trie树表示，利用序列码文件将Trie树转换成两个数组来表示；步骤3，在生成的两个线性数组中检索用户提交的词。

Description

完美双数组TRIE树词典管理与检索方法

技术领域

本发明涉及自然语言处理领域和信息检索领域，特别是一种完美双数组TRIE树词典管理与检索方法。

背景技术

对于大量数据的存储和搜索，目前通常都采用索引结构来实现。一般常用的索引结构包括线性索引表、倒排表、散列(Hash)表以及各种搜索树。

线性索引是一种静态的索引结构，不利于更新，每当做依次更新时需要改变索引表中各个索引项的位置。倒排表也是静态索引，它与线性索引表一样，搜索其中数据的时候都只能顺序搜索或者折半搜索。

散列(Hash)方法则是在表项的存储位置与它的关键码之间建立一个确定的对应函数关系Hash()，使每个关键码与结构中的一个存储位置相对应。搜索时只需要对表项的关键码进行函数计算，求得的函数值即是表项的存储位置，避免了多次关键码比较，因此搜索速度比较快。由于有可能经过散列函数的计算，把不同的关键码映射到同一个散列地址上，也就是产生冲突(一般较常用的解决冲突的办法是利用Hash桶，将地址相同的关键码放入一个桶内，然后再在桶内进行查找)。所以对于散列方法来说，散列函数的设计很关键，应该选择一个计算简单并且地址分布比较均匀的散列函数，尽量减少冲突。Douglas C.Schmidt提出过一种完美Hash函数(Perfect Hash Function)生成方法，该方法生成的Hash函数能保证得到的Hash值没有冲突，也就是说每一个Hash值都是唯一的。但是这种方法目前来说还有缺陷，实验显示，关键词总数为300时生成的Hash表大小为1042，还只是关键词总数的3倍多一点；当关键词增长到685时，Hash表大小会增长到3833，是关键词总数的5倍还不止。由此可知，当数据量较大时用该方法生成的Hash表会很大，空间浪费会很严重。并且数据量较大时，生成一个完美Hash函数极费时间。

搜索树包括B树、B+树、Trie树等以及它们的各种变形。不同的树根据自身的特点应用于不同的数据环境中。索引树的数据结构相对来说比其他索引结构要复杂，但是好的搜索树方法用在合适的环境下可以具有很高的查询效率。

Trie树的查询效率就比较高，用Trie树搜索一个关键码的时间与关键码自身及其长度有关，最快是O(1)，即在树的第一层即可判断是否搜索到，最坏的情况是O(n)，n为Trie树的层数。由于很多时候Trie树的大多数结点分支很少，因此Trie树结构空间浪费比较多。而当Trie树结点分支数非常多时，进行折半查找又会增加更多的时间开销。

对于一个词典来说，最重要的功能就是查找，尤其是像自然语言处理这类应用中，需要频繁的在词典中进行查询以获取词语信息。所以数据查找的效率对词典方法来说是非常重要的。

目前用于组织词典最常用的索引方法主要有两种，一种是Trie索引树，一种是散列(Hash)表结构。

基于Trie索引树的词典机制一般是对词的首字计算hash值，建立首字hash表，然后建立Trie索引树。检索时只需沿树链进行逐字匹配，不需预知待查词的长度，查找一个词所需的时间只与该词的长度有关。但是由于单词树枝比较多，所以Trie索引树的空间浪费比较严重。有实验结果表明，Trie树结构的词典占用空间要比基于Hash索引的词典占用空间大上将近一倍。

基于Hash索引的词典机制就是构造一种Hash函数来计算词语的Hash值，将Hash值相同的词语放入一个桶内，检索时先计算待查词的Hash值，然后进入相应的Hash桶内进行二分查找。常用的有首字Hash和两字Hash法。首字Hash是利用首字生成Hash值，将Hash值相同的词放在同一个Hash桶中，然后在桶中进行二分查找。两字Hash则是在首字Hash基础上的一种改进。目前两字Hash有两种方法，一是对词语的前两个字依次顺次建立Hash索引，构成深度为2的Trie子树，对剩余的字符串再进入相应的Hash桶内进行二分查找；二是根据前两字内码计算Hash值，建立一级Hash索引表，然后进入Hash值相同的表中进行二分查找。采用Hash索引机制的词典查找时间复杂度为O(log₂N)，N为Hash值相同的词条数最大值。

发明内容

本发明提出一种基于完美双数组TRIE树结构的词典管理和检索方法。将Trie树结构转换成两个线性数组表示，并在构造过程中提出了一种优化策略，在处理Trie树结点时，对当前活动结点按分支结点数进行排序，优先处理分支结点数最多的结点，以降低数组稀疏程度。同时提出一种自适应编码方案，以字节为编码单位对字符进行自动编码，使本发明不仅可以支持各种编码体系，而且能进一步提高空间利用率。基于完美双数组TRIE树结构的词典首先将词典中的词项用Trie树表示，然后转换成相应的数组。对该词典中词项的检索在数组的结构上进行。检索一个长度为n个字符的词最多只需进行n-1次整数相加即可获得结果。检索时间复杂度为O(n)。

本发明的目的是为了解决Trie树结构现有的缺点，提供一种比现有词典方法查询效率更高，占用空间更少的词典管理和检索方法。

1.双数组TRIE树结构

本发明将Trie树结构简化成两个线性数组，如图1所示。

base数组和check数组中的元素是一一对应的，base数组中的每一个元素相当于Trie树的一个节点，其值做状态转移的基值，check数组中相应位置的值相当于校验值，用于检查该状态是否存在。对于从状态s到状态t的一个转移，必须满足如下两个条件：

1.base[s]+c＝t

2.check[t]＝s

其中c是输入变量。

令i为数组下标，base[i]和check[i]均为0时表示该位置为空，base[i]为负值时表示该状态为一个可结束状态。两个数组的构造方法如下：

假定有状态AB₁、AB₂、AB₃…AB_n，状态A在数组中下标为i。对于正整数k，如果

base[k+B₁]＝0，check[k+B₁]＝0，base[k+B₂]＝0，check[k+B₂]＝0，…，base[k+B_n]＝0，check[k+B_n]＝0，则A的base值base[i]＝k。

也就是说，k只要能使A的直接子结点都能放入数组即可。base[i]值确定以后，状态AB₁、AB₂、AB₃…AB_n在数组中的下标随即确定，分别为k+B₁，k+B₂，k+B₃，...，k+B_n，

且check[k+B₁]＝check[k+B₂]＝...＝check[k+B_n]＝i。

数组构造完成之后，要查找一个关键码Ab，只需判断check[base[A]+b]是否等于A，如果是，则表示Ab在Trie树中搜索到，否则，搜索返回失败。

双数组Trie树(Double-Array Trie)方法有效的降低了Trie树结构的空间浪费，但是利用该方法生成的数组中仍然还会存在较大的数据稀疏。为了进一步减少数组空间浪费，本发明对构造数组的方法进行了优化，在构造数组的时候加入一种排序策略，即每一次都先处理当前分支结点最多的结点。

2.完美双数组TRIE树的优化访问策略

考虑到在双数组Trie树方法中，每一个结点在数组中的位置，都是由其父亲结点也就是上一状态的base值决定。而一个结点其base值的确定取决于数组的当前空闲位置以及该结点的直接子结点。一个结点的直接子结点越多，该结点在找base值时所遇到的冲突也就越多。因此优先处理分支较多的结点，有利于减少冲突，避免数组增长过大，减少数据稀疏。

设一个词表为：“aa，aab，aad，bc，be，bed，cd”，则该词表对应的Trie树如图2。

采用优化策略后的构造方法如下：

1.读入词典文件，构造Trie树；

2.初始化活动结点列表，把第一层结点加入该列表。

3.如果活动结点列表不为空，则在活动结点列表中选取直接子结点数最多的结点为当前结点。否则方法结束，数组构造完成。

4.访问当前结点，决定其在base数组中的值，确定各直接子结点在两个数组中的位置，令各直接子结点在check数组中的值为当前结点的数组下标。

5.将当前结点的直接子结点加入活动结点列表。重复步骤2。

构造完后相应的检索方法如下：

1.令x等于首字符序列号。

2.读入输入变量c，c的序列号为y。

3.t：＝base[x]+y

If check[t]＝＝x then

x：＝t

else fail

endif

4.若base[t]不为负，重复步骤2。否则，t为一个可结束状态。

检索一个词只需要进行几次简单的整数相加即可。检索开销只与检索词长度有关，方法时间复杂度为O(n)，n为检索词的词长。

3.完美双数组TRIE树的自适应字符编码优化

可以看到，在将词典构造为双数组Trie树之前，必须确定字符在双数组Trie树结构中的表示方式。TRIE树以及双数组TRIE树中转移状态的输入为字符，通常的做法是直接采用字符的值进行检索定位，比如直接采用ASCII码，对于汉字计算其内码，最终作为状态转移的输入值。由于当前的文本编码种类繁多，本发明提出了一种自适应字符编码的优化策略，可以支持各种语言和编码体系。其基本思路为：为了减少高频字符状态转移的偏移量，使用频率越高的字符编码值越小。具体的方法为：

1.扫描词表中的字符，统计字频；

2.按照字频从高往低排序；

3.字符编码值为其排序的序列号。

设一个词表为：“aa，aab，aad，bc，be，bed，cd”，则字频表如下：

字符	字频	编码值
字符	字频	编码值	a	6	1
b	4	2	a	6	1
b	4	2	c	2	4
d	3	3	c	2	4
d	3	3	e	2	5

因此每个输入变量值即为输入字符的序列号。为了适应双字节字符编码(如GB2312、BIG5)，我们引入了一个64K的整数数组Charset存储字符的编码值。计算公式为：

Code＝Charset[Char]，其中Char为字符对应的整数值，即：单字节字符的Byte值或者双字节字符的高位*256+双字节字符的低位。Code为存储出来的编码值。

这种编码方案在输入文本编码方案不同的情况下，无需修改词典方法的代码。而且还能进一步减少数组稀疏，提高空间利用率。

4.完美双数组TRIE树的性能测试

对于80283词条的汉语词典，我们采用完美双数组TRIE树方法，空间利用率为91.71％，每秒平均可检索各种随机词条163.5万条，利用该词典进行最大匹配分词，单机(CPU3.0G，内存1G)速度为23.81MB/s。

一种完美双数组TRIE树词典管理与检索方法，包括步骤：

(1)将词典用Trie树结构表示；

(2)将Trie树转换成两个线性数组；

(3)根据用户的输入，利用生成的两个数组实现对词典的检索。

所述的方法，对词典中的词项以字节为单位进行编码，统计词典中各编码单位出现的频率，按照频率大小赋予不同编码单位不同的序列号；对频率越大的编码单位，赋予的序列号越小。

所述的方法，Trie树转换成的两个线性数组一个为基值数组，一个为校验值数组，两个数组中的元素一一对应；基值数组中的一个元素对应于Trie树的一个结点，该元素值作为状态转移的基值；校验值数组中对应位置的元素值作为校验值，用于检查该状态是否存在。

所述的方法，将Trie树结构转换成双数组结构的构造过程中，对当前活动结点进行排序，每一次都先处理当前分支结点最多的结点。

所述所述的检索方法，一个状态转移到另一个状态，表现为前一状态在基值数组中对应位置的元素值加上输入字符的序列号，作为下一个状态在两个数组中的对应位置；下一状态在校验值数组中相应位置的校验值应该等于前一状态的数组位置。

本发明使用双数组TRIE树结构，将词典用Trie树结构表示，Trie树转换成两个线性数组，再对词典中的词项以字节为单位进行编码的数字方法和手段，克服现有的词典方法查询缺点，解决词典管理和检索的问题。达到提高查询效率，减少空间的效果。

附图说明

图1是本发明将Trie树结构简化成两个线性数组图。

图2是词表对应的Trie树示意图。

图3是本发明的完美双数组TRIE树词典管理与检索方法的流程图。

具体实施方式

图1是Trie树结构转化为双数组Trie树结构的示意图。

图2是将词典中的所有词用Trie树结构表示。

图3是本发明的完美双数组TRIE树词典管理与检索方法的流程，其步骤：

步骤1，对词典中的词条以两个字节为一个编码单位，统计词典中各编码单位出现的频率，按照频率大小赋予不同编码单位不同的序列码；对在词典中出现频率越大的编码单位，赋予的序列码越小，最后将所有的编码单位和相应的序列码保存在序列码文件中；

步骤2，读入词典所有词条，用Trie树表示，读入序列码文件，按照分支结点数较多的结点优先处理的策略，依次处理所有Trie树结点，最终将整个Trie树转换成两个整数数组，一个是基值数组，一个是校验值数组，并将两个数组保存为文件；

步骤3，以用户提交的检索词第一个编码单位的序列码为基值数组下标，后续的编码单位依次作为输入变量，当前状态的基值加上输入变量作为下一个状态在数组中的下标。如果当前状态的校验值等于上一状态的数组下标，则继续判断下一状态，最终返回检索成功或者失败。

Claims

1.一种完美双数组TRIE树词典管理与检索方法，包括步骤：

(1)将词典用Trie树结构表示；

(2)将Trie树转换成两个线性数组；

2.如权利要求1所述的方法，其特征在于：对词典中的词项以字节为单位进行编码，统计词典中各编码单位出现的频率，按照频率大小赋予不同编码单位不同的序列号；对频率越大的编码单位，赋予的序列号越小。

3.如权利要求1所述的方法，其特征在于：Trie树转换成的两个线性数组一个为基值数组，一个为校验值数组，两个数组中的元素一一对应；基值数组中的一个元素对应于Trie树的一个结点，该元素值作为状态转移的基值；校验值数组中对应位置的元素值作为校验值，用于检查该状态是否存在。

4.如权利要求1所述的方法，其特征在于：将Trie树结构转换成双数组结构的构造过程中，对当前活动结点进行排序，每一次都先处理当前分支结点最多的结点。

5.如权利要求3所述所述的检索方法，其特征在于：一个状态转移到另一个状态，表现为前一状态在基值数组中对应位置的元素值加上输入字符的序列号，作为下一个状态在两个数组中的对应位置；下一状态在校验值数组中相应位置的校验值应该等于前一状态的数组位置。

6.如权利要求1或2或3所述的方法，其特征在于：其具体步骤：

步骤3，以用户提交的检索词第一个编码单位的序列码为基值数组下标，后续的编码单位依次作为输入变量，当前状态的基值加上输入变量作为下一个状态在数组中的下标，如果当前状态的校验值等于上一状态的数组下标，则继续判断下一状态，最终返回检索成功或者失败。