CN107273529A - 基于哈希函数的高效层级索引构建及检索方法 - Google Patents

Abstract

本发明涉及基于哈希函数的高效层级索引构建及检索方法，包括：对待归档文档d_i中的每个关键词进行哈希操作，得到各关键词的n个正整数集合；每个关键词的n个正整数集合构成最终表示待归档文档d_i的n维向量；将所述n维向量放入文档集合索引矩阵T中，集合索引矩阵中第i行表示文档di的索引信息，第j列表示文档中存在哈希处理结果为j的关键词。本发明采用的树形结构数据这类存储方式非常便于面向检索的索引结构，且采用哈希函数对关键词的处理具有较高的安全性，不仅能够保证索引效率受到的影响较少，同时也能够提高索引的安全性。

Description

基于哈希函数的高效层级索引构建及检索方法

技术领域

本发明涉及数据检索，具体地指一种基于哈希函数的高效层级索引构建及检索方法。

背景技术

在信息技术日益发达的今天，检索技术成为了信息技术中极其重要的一个领域，对于信息系统的用户而言，通过检索技术快速定位和获取目标数据已经成为信息系统日常使用中必不可少的环节。日常检索技术在为人们带来极大方便的同时，也带来了许多安全性威胁。在一些涉密单位的相关部门中，由于日常工作涉及的数据量非常巨大，必须使用检索技术来快速获取数据，但是由于数据涉密，检索过程的安全性成为一个备受关注的问题。在信息安全形势日益严峻的今天，如何对涉密数据进行安全检索将是数据存储问题中一个很重要的环节，只有实现安全高效的数据检索，才能保证海量数据的使用价值，使海量数据的存储具有意义。

但是传统的全文检索结构往往是基于明文的全文检索，即对文档数据构建索引时仅仅直接按照明文关键词构建明文索引，在索引结构中，系统不仅会保留对文档数据进行分词得到的关键词集合，同时还会保存与这些关键词相关联的位置信息，这一特点导致一旦系统的索引存储区域遭受不明攻击者的攻击，攻击者可以通过系统中存储的索引数据通过统计方法还原成原始文档数据，传统索引结构存在的这一严重的安全问题会导致存储数据的用户蒙受巨大的损失。另一方面，在传统方法中，同样存在着一些针对密文数据的全文检索，对于密文数据的全文检索由于将文档数据和全文关键词进行了加密操作，因此其安全性相比于传统的明文数据来说安全性相对较高，一种传统的密文全文检索解决方式是对目前构建的明文全文索引进行加密处理，这种处理一般被分为两个层次，即索引级加密处理和索引词级加密处理。这两种处理在检索过程中仍需要对密文进行解密，本质上仍然是明文全文检索，同样存在着很大的安全隐患，这就需要一套更加安全合理的密文全文检索系统来提供安全高效的密文全文检索服务。

正是基于以上需求，本发明提出一种基于哈希函数的高效层级全文检索方法。

树形结构数据这类存储方式非常便于面向检索的索引结构，具有数据组织有序、检索效率高等优势。而哈希函数具有单向性的特点，即由哈希函数通过输入得出输出结果比较简单，而从哈希函数输出结果逆推函数输入却有着很大的难度，需要投入非常大的计算成本，因此，哈希函数具有较高的安全性本方法以哈希函数为基础，采用树形结构为主要数据结构构建全文检索索引，不仅能够保证索引效率受到的影响较少，同时也能够提高索引的安全性。

发明内容

本发明目的在于克服上述现有技术的不足而提供一种基于哈希函数的高效层级索引构建及其检索方法，该方法能够实现安全高效的密文全文检索。

实现本发明目的采用的技术方案是一种基于哈希函数的高效层级索引构建方法，该方法包括：

将待归档文档d_i构建成n维向量T_i；

对待归档文档di中的每个关键词进行哈希操作，得到代表各个关键词的k个正整数的集合；

代表关键词集合的k个正整数集合构成最终表示待归档文档d_i的n维向量T_ik；

将所述n维向量T_ik放入文档集合索引矩阵T中，集合索引矩阵中第i行表示文档d_i的索引信息，第j列表示文档中存在哈希处理结果为j的关键词。

此外，本发明还提供一种基于上述高效层级索引构建的检索方法，该方法包括：

将查询请求中的查询关键词转换为多个子关键词的析取范式或合取范式；

将所述析取范式或合取范式构建一个与文档集合索引矩阵相同维度的n维向量T_q，利用与索引构建时相同的哈希算法对子关键词集合进行哈希操作，将子关键词转换为正整数，并插入到集合Z(z₁,z₂,…,z_n)中，将T_q的z₁、z₂、……、z_n位分别置为1，表示当前查询请求含有某些特定关键词，将T_q与文档索引矩阵进行矩阵T乘法操作：

T’＝T·T_q

在T’中选择所有不为0的行，记为t₁,t₂,…,t_n行，表示含有当前关键词的文档的索引向量，根据这些向量确认所有含有当前查询关键词的文档D_t{d_t1,d_t2,……,d_tn}，根据指针查找到目标文档d_t的层次索引中，然后，系统会根据关键词的哈希结果Z_q继续逐段查找文档的索引中各个段落的索引向量，判断向量中d_t1、d_t2、……、d_tn位是否为1，命中后再查找命中段落的逐句索引向量，同样判断向量中d_t1、d_t2、……、d_tn位是否为1，最终命中含有查询关键词的目标语句，完成查询流程。

本发明采用的树形结构数据非常适合用于检索数据的索引结构，由于其本身的结构特点，检索时系统可以按照检索要求查找，精确定位，具有数据组织有序、检索效率高等优势。而哈希函数具有单向性的特点，即由哈希函数通过输入得出输出结果比较简单，而从哈希函数输出结果逆推函数输入却有着很大的难度，需要投入非常大的计算成本，因此，哈希函数具有较高的安全性本方法以哈希函数为基础，采用树形结构为主要数据结构构建全文检索索引，不仅能够保证索引效率受到的影响较少，同时也能够提高索引的安全性。

附图说明

图1为本发明基于哈希函数的高效层级索引构建及其检索放方法的流程图。

图2为通过本发明基于哈希函数的高效层级索引构建方法构建的全文索引图。

具体实施方式

下面结合附图，对本发明的技术方案作进一步具体的说明。

本发明基于哈希函数的高效层级索引构建及其检索方法的流程如图1所示。

当待归档文档d_i存储到本系统后，检索系统首先会对其进行分词操作，得到关键词的集合W_i(w₁,w₂,…，w_k)，同时，针对每个分词记录，为关键词记录该关键词的位置信息，位置信息按照文档结构进行划分，对于关键词w_k，其位置信息为段落、句子、句中偏移量组成的三元组，表示为l_k(p_k,s_k,o_k)，这样，待归档文档d_i即可表示为D_i(W_k,L_k)，其中L_k为位置信息l_k的集合，获取此集合后，系统会根据其关键词信息及位置信息进行索引构建操作。

在索引构建算法中，对于当前文档d_i，构建一个n维向量T_i，将各个维度初始化为0，得到T_i0。

对于关键词w_k，系统采用哈希算法对关键词进行哈希操作，将关键词w_k转换为正整数z_k,将T_i中的z_i1,z_i2,…,z_in位分别置1，表示文档中含有关键词中的各个字符，得到新的n维向量T_i1，然后，针对集合W_i中的每个关键词进行相同的处理(即对关键词进行哈希操作，然后根据关键词的哈希结果处理表示当前文档的n维向量)，得到最终表示当前文档的n维向量T_ik，将T_ik放入文档集合索引矩阵T中，形成最终的文档索引矩阵即将n维向量与原索引矩阵合并，新的n维向量直接加入到最下面一行，此时，最终的文档集合索引矩阵中第i行表示文档d_i的索引信息，第j列表示文档中存在哈希处理结果为j的关键词。

上述文档集合索引的构建过程如下所示：

本发明在索引构建阶段，当系统需要对待归档数据进行索引构建，系统首先对待归档数据进行分词操作，完成分词操作之后，对当前文档中得到的分词结果进行哈希函数处理，完成处理之后，根据哈希函数的输出结果对索引向量进行处理，具体流程可通过以下算法实现：

完成文档集合索引构建之后，根据分词结果中记录的分词结果，对待归档文档d_i进行分层处理，对于文章中每一段落、每一句子构建一个n维向量，针对各段落的分词结果进行哈希函数处理，完成处理之后，根据哈希函数的输出结果对索引向量进行处理，具体流程可通过以下算法实现：

将处理之后的段落索引向量和语句向量加入到索引层次结构中，通过指针链接。

上述操作得到段落索引向量和语句向量的过程与得到当前文档的n维向量T_ik的过程相同。

通过上述方法构建的全文索引图如图2所示，在图2所示的结构中，展示了本发明所采用的索引结构的层次性，即系统在进行查询时，在根据索引矩阵定位到文章的索引结构之后，系统可以根据附图2的索引结构逐层查找，首先确定关键词的段落位置，然后确定其语句位置，之后确定其精确位置。详细的检索过程如下：

通过上述方法完成待归档文档d_i的索引构建后，当接收到查询请求时，首先会对该查询请求进行一次分词操作，将查询关键词转换为多个子关键词的析取范式或合取范式，然后，系统会构建一个与文档索引矩阵相同维度的n维向量T_q，各维度初始为0，再利用与索引构建时相同的哈希算法对子关键词集合进行哈希操作，将子关键词转换为正整数，并插入到集合Z(z₁,z₂,…,z_k)中，将T_q的z₁、z₂、……、z_k位分别置为1，表示当前查询请求含有某些特定关键词，将T_q与文档索引矩阵T进行矩阵乘法操作：

T’＝T·T_q

在T’中选择所有不为0的行，记为t₁,t₂,…,t_r行，表示含有当前关键词的文档的索引向量，根据这些向量确认所有含有当前查询关键词的文档D_t{d_t1,d_t2,……,d_tr}，根据指针链接到目标文档d_t的层次索引中，然后，根据关键词的哈希结果Z_q继续逐段查找文档的索引中各个段落的索引向量，判断各个段落索引向量中d_t1、d_t2、……、d_tr位是否为1，命中后再查找命中段落的逐句索引向量，同样判断向量中d_t1、d_t2、……、d_tr位是否为1，最终命中含有查询关键词的目标语句，完成查询流程。具体流程通过以下算法实现：

读取当前的查询请求Q，将其解析为多个子关键词集合W_q{w_q1,w_q2,…,w_qr}

对关键词集合中的关键词进行哈希操作：Z_q＝Hash(W_q)

初始化n维向量T_q，将该向量的各个维度初始化为0

基于哈希结构Z_q对T_q进行处理，得到包含关键词信息的n维向量T_q’

将Tq’与文档索引矩阵T_ij进行矩阵乘法处理，选择出所有含有当前查询关键词的文档D_t{d_t1,d_t2,……,d_tr}

For i＝1……t_r

根据Z_q查找各个段落的索引向量中d_t1、d_t2、……、d_tr位是否为1

根据指针找到命中段落的逐句索引向量

根据Zq查找命中段落的逐句索引向量中d_t1、d_t2、……、d_tr位是否为1

将查找到的语句加入结果集合R中

返回结果集合R。

Claims (4)

1.一种基于哈希函数的高效层级索引构建方法，其特征在于，包括：

将待归档文档d_i构建成n维向量T_i；

对待归档文档d_i中的每个关键词进行哈希操作，得到代表各个关键词的k个正整数的集合；

代表关键词集合的k个正整数集合构成最终表示待归档文档d_i的n维向量T_ik；

将所述n维向量T_ik放入文档集合索引矩阵T中，集合索引矩阵中第i行表示文档d_i的索引信息，第j列表示文档中存在哈希处理结果为j的关键词。

2.根据权利要求1所述基于哈希函数的高效层级索引构建方法，其特征在于：

将待归档文档di进行分词操作，得到待归档文档di的关键词集合W_i(w₁,w₂,…，w_k)；

针对每个分词记录，为关键词记录该关键词的位置信息，位置信息按照文档结构进行划分，对于关键词w_k，其位置信息为段落、句子、句中偏移量组成的三元组，表示为l_k(p_k,s_k,o_k)，待归档文档di即可表示为D_i(W_k,L_k)，其中L_k为位置信息l_k的集合，获取此集合后，根据关键词信息及位置信息进行索引构建操作。

3.根据权利要求1所述基于哈希函数的高效层级索引构建方法，其特征在于：

根据分词结果中记录的分词结果，对待归档文档d_i进行分层处理，对于文章中每一段落、每一句子构建一个n维向量，针对各段落的分词结果进行哈希函数处理，完成处理之后，根据哈希函数的输出结果对段落索引向量和语句向量进行处理，将处理之后的段落索引向量和语句向量加入到索引层次结构中，通过指针链接。

4.一种基于权利要求1所述高效层级索引构建检索的检索方法，其特征在于，包括：

将查询请求中的查询关键词转换为多个子关键词的析取范式或合取范式；

将所述析取范式或合取范式构建一个与文档集合索引矩阵相同维度的n维向量T_q，利用与索引构建时相同的哈希算法对子关键词集合进行哈希操作，将子关键词转换为正整数，并插入到集合Z(z₁,z₂,…,z_r)中，将T_q的z₁、z₂、……、z_r位分别置为1，表示当前查询请求含有某些特定关键词，将T_q与文档索引矩阵T进行矩阵乘法操作：

T’＝T·T_q

在T’中选择所有不为0的行，记为t₁,t₂,…,t_r行，表示含有当前关键词的文档的索引向量，根据这些向量确认所有含有当前查询关键词的文档D_t{d_t1,d_t2,……,d_tr}，根据指针查找到目标文档d_t的层次索引中，然后，根据关键词的哈希结果Z_q继续逐段查找文档的索引中各个段落的索引向量，判断向量中d_t1、d_t2、……、d_tr位是否为1，命中后再查找命中段落的逐句索引向量，同样判断向量中d_t1、d_t2、……、d_tr位是否为1，最终命中含有查询关键词的目标语句，完成查询流程。