CN101576929A - 一种快速词条提示的实现方法 - Google Patents

Abstract

本发明公开了一种基于词条查找树的快速词条提示方法，词条查找树由一级索引表和HASH多叉树构成。一级索引表是数组，通过下标直接访问，可快速缩小搜索范围，时间复杂度为常数。HASH多叉树是基于HASH的多叉树，即每个节点的子节点列表通过HASH散列，查找的时候平均时间复杂度为常数。通过本发明的词条查找树能利用相对较少的内存资源，获得近乎常数时间复杂度的词条提示功能，可支持大型词典，满足高性能的词条提示需求，作为在文字输入软件，搜索引擎输入提示等应用的基础。

Description

一种快速词条提示的实现方法

技术领域：

本发明涉及人机交互领域，尤其涉及一种人机交互时快速词条提示辅助系统的实现方法。

背景技术：

人机交互作为重要的研究领域受到了世界各软硬件生产商和应用组织的广泛关注。80年代已来，计算机的软、硬件技术取得了较大突破，计算机的应用范围从高端科学研究走入到日常的企业和个人应用中来，计算机的最终用户也从计算机专家为主体迅速扩散为未受过专门训练的普通用户为主体，对人机交互的友好性、简单性和智能型提出了新的需求。输入信息是人机交互最基本的一个环节，如何辅助用户高效的完成数据的输入就显得尤为重要起来。

在中文系国家，文字采用非英文字母的编码形式，文字的输入需要进行转化，无法直接从键盘输入，自90年代末，中文地区的计算机应用广泛的普及开来，对中文输入的简单快捷的需求也越发迫切起来。用户可以通过简短的字母组合能输入中文文字，词条，甚至句子。

在自然语言的输入过程中，根据用户已输入的字符进行相关词条提示已经是相当重要的一个应用，输入操作的实时性要求较高，特别是面对网络化的海量用户的请求时，提示信息的快速获得也变得越来越迫切。提示信息的获得是以快速匹配出符合当前输入文字的词条功能为基础的。

输入提示，作为输入最有效的辅助手段，开始广泛的出现在输入法、搜索引擎、软件应用系统中。随着数据量的增长，词条的增加，用户量的增长，无论单机软件还是网络应用系统，客观上都需要高性能的词条提示功能。

发明内容：

针对高性能自然语言文本的人机交互需求，本发明的目的是提供一种快速词条提示的实现方法。

本发明是这样实现的：一种快速词条提示的实现方法，包括以下主要过程和步骤：

基于词条查找树的快速词条方法，词条查找树由一级索引表和HASH多叉树构成。一级索引表是数组，通过下标直接访问，可快速缩小搜索范围，时间复杂度为常数。HASH多叉树是基于HASH的多叉树，即每个节点的子节点列表通过HASH散列，查找的时候平均时间复杂度为常数。通过词条添加操作构建词条查找树，利用词条查找树进行快速词条提示。

所述HASH多叉树：

HASH多叉树和一级索引表相连，以进一步加快词条查找树的搜索速度。

HASH多叉树中的节点为字符节点，字符节点至少包含：字符值，词条结束标志，子节点数，子节点列表，HASH冲突的下一个兄弟节等信息。子节点列表是通过HASH散列的列表。

HASH桶的大小由子节点数确定，并在增加子节点时自动扩展，并根据新HASH桶大小重新构造节点。动态增长的HASH桶可以减少HASH冲突，同时保证匹配效率和资源利用率。通过子节点数获得最佳HASH桶的大小，可事先构造对应表，以加快计算速度。

根据HASH值获得HASH位置的操作，用与操作替换取模操作可以加快运算速度，即HASH值和一个特定值进行与运算来获得HASH索引，该特定值和HASH桶大小相关，可以取小于HASH桶大小且BIT位连续为1的最大值，可事先构造对应表，以加快计算速度。

所述一级索引表：

前导字符是首先取出并处理的字符，可快速缩小搜索范围。前导字符和一级索引表密切相关，前导字符的数目等于一级索引表的维数。前导字符至少可以为1个，对应的快速索引表的记录数为256(1×256)。如果最小词条字节数均不小于2则前导字符可以为2个，对应的快速索引表的记录数为65536(256×256)。256是字符值的个数(0-255)。

添加词条操作：

步骤1.从被添加词条中取出前导字符，在一级索引表中进行匹配。若记录不存在，为前导字符构造字符节点，并将该节点加入到一级索引表中，并记录为当前节点；若记录存在，则直接记为当前节点。

步骤2.取出被添加词条的下一个字符，在当前节点的子节点列表中进行匹配。如果不存在，则为该字符构造一个字符节点，并添加到当前节点的子节点列表中，并记录新添加节点为当前节点；如果存在则直接设置为当前节点。重复步骤2的过程，直到被添加词条所有字符被加入。

步骤3.在最末节点上设置词条结束标志，并记录词条提示的文本。

进一步的说，所述词条添加操作：

添加字符节点到当前节点的子节点列表的过程，是添加元素到HASH多叉树的过程。通过该字符的值作为HASH值，计算其在HASH桶中的索引位置，该索引位置已有节点以链表的形式组织。将该节点作为首节点加入到该链表中，并记录在HASH桶的对应索引位置。

若添加过程中需要扩展当前节点，则申请块新空间，并构造新的当前节点，并将旧节点进行回收。判断是否需要扩展的依据是HASH桶大小是否无法容下新的子节点数。

词条提示操作：

步骤1.取出输入文本的前导字符，在一级索引表中进行匹配，若存在则取出存在匹配字符节点，并设置为当前节点，检测当前节点是否有词条结束标志，如果有词条结束标志则输出一个匹配词条。

步骤2.取出输入文本的下一个字符，在当前节点的子节点列表中进行匹配，若存在则取出存在匹配字符节点，并设置为当前节点，检测当前节点是否有词条结束标志，如果有词条结束标志则输出一个匹配词条。重复步骤2，进行后续字符匹配，直到输入文本匹配完毕或者无法匹配后续字符。

步骤3.遍历当前字符的子节点列表，逐一检查所有子节点是否有词条结束标志，如果有词条结束标志，则输出该词条，重复步骤3递归遍历当前节点的所有子节点，将所有带有词条结束标志的节点对应的词条输出。

进一步说，所述词条提示操作：

所述词条提示操作输出的词条列表，可以按照词条被访问的频率和重要性的权值或者领域相关性权值等因素进行快速排序，从而输出更优提示结果。

进一步说，所述添加词条操作、所述词条提示操作：

前向匹配提示和后向匹配提示的操作分别需要建立对应的一级索引表和HASH多叉树，进行添加词条操作、提示操作时，若是前向匹配则从前往后逐一提取输入字符，若是后向匹配则从后往前逐一提取字符，进行同样的算法匹配。同时提供前向和后向的提示结果可以让词条提示信息更加宽泛。

进一步的说，如果匹配操作不区分英文字母大小写，则将字符统一到大写或者小写即可。

系统启动初始化操作：

词条存储在持久存储介质中，可以以文件或者数据库表的形式进行组织，每个词条对应持久文件的存储记录。存储记录包含词条文本和提示映射文本等附加信息。系统从词条存储模块读取所有词条，将读出词条逐一送入词条添加模块，添加模块执行词条添加操作，将词条加入到词条查找树中。

附图说明：

下面结合附图，对本发明作出详细描述。

图1为添加BE词条后的词条查找树结构图

图2为添加BT词条后的词条查找树结构图

图3为添加BUT词条后的词条查找树结构图

图4为添加所有示例词条后的词条查找树结构图

具体实施方式：

本发明是通过将词条添加到词条查找树中，实现快速的词条添加、词条提示操作。

本发明构造的词条查找树如图4所示，一级索引表作为检索的入口，和HASH多叉树相连。

本实施案例中取前导字符数为1，对应的一级索引表为256条记录；字符节点的子节点列表每次按照2的整次方大小进行申请。

重点阐述由本发明方法实现的系统最主要的2大功能，词条添加，和词条提示的实现过程。

“词条添加”：

以从空置系统中依次添加BE(是)，BT(BT)，BUT(但是)，BUSH(灌木)，BUSY(忙碌)，BOX(盒子)，BOY(男孩)等词条为例进行说明。

添加词条BE

步骤1.取出词条的前导字符B，在一级索引表中进行直接下标检索，不存在，申请一块新空间用于构建B字符节点，并将该节点添加到一级索引表中，并记录为当前节点。

步骤2.取出下一个字符E，在当前B字符节点的子节点列表中进行HASH检索(此时HASH桶为空)。不存在，申请一块新空间用于构建E字符节点，当前字符B节点的HASH桶大小为0，扩展当前字符B节点到可以存下2个(始终保持2的N次方大小)，扩展过程为先申请新空间，将老节点中的子节点列表在新块中重新构，回收老的字符节点。将该E字符节点加入到当前B字符节点的子节点列表，设置当前字符节点为E字符节点。

步骤3.词条结束，将当前E字符节点的完整词条标志设置为真，并记录提示文本“BT”，如图1所示。

添加词条BT

步骤1.取出词条的前导字符B，在一级索引表中进行直接下标检索，已存在，将该B字符节点设置为当前节点。

步骤2.取出下一个字符T，在当前B字符节点的子节点列表中进行HASH检索。HASH检索的方法是，将E字符的值84作为HASH值，当前HASH桶大小为2，对应的HASH索引位置为0，检测该位置记录的链表中是否有字符为E的节点。记录不存在，申请一块新空间用于构建T字符节点，并将该T字符节点加入到当前B字符节点的子节点列表，设置T字符节点为当前节点。

步骤3.词条结束，将当前T字符节点的完整词条标志设置为真，并记录提示文本“是”，如图2所示。

添加词条BUT

步骤1.取出词条的前导字符B，在一级索引表中进行直接下标检索，已存在，将该B字符节点设置为当前节点。

步骤2.取出下一个字符U，在当前B字符节点的子节点列表中进行HASH检索，不存在，当前字符B节点的HASH桶大小为2，需要存第3个子节点，扩展当前字符B节点到最大可以存下4个子节点的大小，然后申请一块新空间用于构建U字符节点，回收老的字符节点，并将该U字符节点加入到当前B字符节点的子节点列表，设置U字符节点为当前节点。

步骤3.取出下一个字符T，在当前U字符节点的子节点列表中进行HASH检索，不存在，当前字符U节点的HASH桶大小为0，扩展当前字符U节点到可以存下2个子节点的大小，申请一块新空间用于构建T字符节点，回收老的字符节点，并将该T字符节点加入到当前U字符节点的子节点列表，设置T字符节点为当前节点。

步骤4.词条结束，将当前T字符节点的完整词条标志设置为真，并记录提示文本“但是”，如图3所示。

按照上述添加BT，BE，BUT过程依次继续添加BUSH，BUSY，BOX，BOY等词条，最后形成如图4所示的词条查找树的结构。

词条提示：

输入字符串BO获得词条提示信息，在基于如图4所示的词条查找表中进行相关词条提示。

步骤1.将字符串BO送入进行词条提示，取出1个前导字符B，在一级索引表中查找到B字符节点，检测未发现词条结束标志，将其记录为当前节点；

步骤2.取出下一字符O，在当前B字符节点的子节点列表中进行HASH检索，找到O字符节点，检测未发现词条结束标志，将O字符节点记录为当前节点；

步骤3.输入字符串结束。递归遍历当前字符O节点的所有子节点，输出所有词条。取出当前字符O节点的子节点X字符节点，检测发现词条结束标志，输出词条BOX及提示文本“盒子”，X字符节点未含有子节点，返回到上级O字符节点；

步骤4.取出O字符节点的另一个子节点Y字符节点，检测发现词条结束标志，输出词条BOY及提示文本“男孩”，Y字符节点未含有子节点，返回到上级O字符节点。

步骤5.0字符节点所有字节点遍历完成，得到BO的提示词条结果为：“BOX(盒子)”“BOY(男孩)”两个词条。

步骤6.词条提示操作输出的词条列表，可以按照词条被访问的频率和重要性的权值或者领域相关性权值等因素进行快速排序，从而输出更优提示结果。

Claims (4)

1.本发明是这样实现的：一种快速词条提示的实现方法，其特征在于，该方法包括以下步骤：

基于词条查找树的快速词条提示方法，词条查找树由一级索引表和HASH多叉树构成。一级索引表是数组，通过下标直接访问，可快速缩小搜索范围，时间复杂度为常数。HASH多叉树是基于HASH的多叉树，即每个节点的子节点列表通过HASH散列，查找的时候平均时间复杂度为常数。通过词条添加操作构建词条查找树，利用词条查找树进行快速词条提示。

2.如权利要求1所述词条提示操作：

步骤1.取出输入文本的前导字符，在一级索引表中进行匹配，若存在则取出存在匹配字符节点，并设置为当前节点，检测当前节点是否有词条结束标志，如果有词条结束标志则输出一个匹配词条。

步骤2.取出输入文本的下一个字符，在当前节点的子节点列表中进行匹配，若存在取出存在匹配字符节点，并设置为当前节点，检测当前节点是否有词条结束标志，如果有词条结束标志则输出一个匹配词条。重复步骤2，进行后续字符匹配，直到输入文本匹配完毕或者无法匹配后续字符。

步骤3.遍历当前节点的子节点列表，逐一检查所有子节点是否有词条结束标志，如果有词条结束标志，则输出该词条，重复步骤3递归遍历当前节点的所有子节点，将所有带有词条结束标志的节点对应的词条输出。

3.如权利要求2所述词条提示操作：

所述词条提示操作输出的词条列表，可以按照词条被访问的频率和重要性的权值或者领域相关性权值等因素进行快速排序，从而输出更优提示结果。

4.如权利要求2所述词条提示操作：

前向匹配提示和后向匹配提示的操作分别需要建立对应的一级索引表和HASH多叉树，进行添加词条操作、词条提示操作时，若是前向匹配则从前往后逐一提取输入字符，若是后向匹配则从后往前逐一提取字符，进行同样的算法匹配。同时提供前向和后向的提示结果可以让词条提示信息更加宽泛。

进一步的说，如果匹配操作不区分英文字母大小写，则将字符统一到大写或者小写即可。

Images