CN108062406B - 索引文件的构建方法及装置、检索方法和服务器 - Google Patents

Abstract

本发明提供一种索引文件的构建方法，其中，所述构建方法包括：对所有原始文件进行处理，以获得词序序列，所述词序序列包括多个词序；评估所述词序序列中的各个词序的综合关键度；将综合关键度大于阈值关键度的词序设定为关键词；根据所述关键词创建初始索引表；创建索引文件，所述索引文件包括对所述初始索引表进行加密获得的加密索引表和对所述原始文件进行加密获得的加密文件。本发明还提供一种构建装置、一种检索方法和一种服务器。利用所述检索方法检索所述构建方法构件的索引文件，可以提高检索效率以及检索安全性。

Description

索引文件的构建方法及装置、检索方法和服务器

技术领域

本发明涉及信息检索领域，具体地，涉及一种索引文件的构建方法、一种执行该构建方法的构建装置、一种检索方法和一种执行该检索方法的服务器。

背景技术

为了提高检索的安全性，目前已经出现了密文检索。目前常用的方法是先对文件进行解密，然后对解密数据进行检索。这种检索方法效率较低，且安全性也很低。

因此，如何提高检索的效率以及检索的安全性成为本领域亟待解决的技术问题。

发明内容

本发明的目的在于提供一种索引文件的构建方法、一种执行该构建方法的构建装置、一种检索方法和一种执行该检索方法的服务器。利用所述检索方法检索由所述索引构建方法构建的加密索引表时，可以提高检索效率以及提高检索安全性。

为了实现上述目的，作为一种索引文件的构建方法，其中，所述构建方法包括：

对所有原始文件进行处理，以获得词序序列，所述词序序列包括多个词序；

评估所述词序序列中的各个词序的综合关键度；

将综合关键度大于阈值关键度的词序设定为关键词；

根据所述关键词创建初始索引表；

创建索引文件，所述索引文件包括对所述初始索引表进行加密获得的加密索引表和对所述原始文件进行加密获得的加密文件。

优选地，根据所述关键词创建初始索引表的步骤包括：

对所述关键词进行压缩，以获得定长关键词；

对所述词序序列进行压缩，以获得定长序列；

对所述定长关键词进行加密，生成关键词密文；

对所述定长序列进行加密，生成序列密文；

根据所述关键词出现的频率对所述关键词进行分块存储，所述关键词出现的频率越高，则存储该关键词的块的序号越小；

根据所述关键词密文、所述序列密文和所述关键词与块序号的对应关系创建所述初始索引表。

优选地，在对所述根据所述关键词出现的频率对所述关键词进行分块的步骤包括：

设定每个块的存储阈值；

根据所述关键词出现的次数和出现该关键词的文件数信息计算所述关键词出现的频率；

将所述关键词出现的频率与各个块的存储阈值进行比较；

将所述关键词存储在存储阈值小于或等于该关键词出现的频率块中。

优选地，所述构建方法还包括：

将所述索引文件分发至服务器。

作为本发明的第二个方面，提供一种检索方法，所述检索方法包括：

对接收到的检索词进行加密，生成密文检索词；

利用所述密文检索词查找本发明所提供的上述构建方法中所生成的索引文件中的加密索引表，以获得检索结果；

根据检索结果获取所述索引文件中的加密文件；

将检索到的所述加密文件发送至发送所述检索词的客户端。

作为本本发明的第三个方面，提供一种索引文件的构建装置，其中，所述构建装置包括：

预处理模块，所述预处理模块用于对所有原始文件进行处理，以获得词序序列，所述词序序列包括多个词序；

词序评估模块，所述词序评估模块用于评估所述词序序列中的各个词序的综合关键度；

关键词提取模块，所述关键词提取模块用于将综合关键度大于阈值关键度的词序设定为关键词；

初始索引表创建模块，所述初始索引表创建模块用于根据所述关键词创建初始索引表；

索引文件创建模块，所述索引文件创建模块用于对所述初始索引表进行加密获得的加密索引表，且所述索引文件创建模块还用于对所述原始文件进行加密获得的加密文件，以获得包括所述加密索引表和所述加密文件的索引文件。

优选地，所述初始索引表创建模块包括：

压缩单元，所述压缩单元用于对所述关键词进行压缩，以获得定长关键词，且所述压缩单元还用于对所述词序序列进行压缩，以获得定长序列；

加密单元，所述加密单元用于对所述定长关键词进行加密，生成关键词密文，且所述加密单元还用于对所述定长序列进行加密，生成序列密文；

感知单元，所述感知模块用于根据所述关键词出现的频率对所述关键词进行分块存储，所述关键词出现的频率越高，则存储该关键词的块的序号越小；

索引表创建单元，所述索引表创建单元用于根据所述关键词密文、所述序列密文和所述关键词与块序号的对应关系创建所述初始索引表。

优选地，所述感知单元包括：

阈值设定子单元，所述阈值设定子单元用于设定每个块的存储阈值；

频率计算子单元，所述频率计算子单元用于根据所述关键词出现的次数和出现该关键词的文件数信息计算所述关键词出现的频率；

比较子单元，所述比较子单元用于将所述关键词出现的频率与各个块的存储阈值进行比较，并将所述关键词存储在存储阈值小于或等于该关键词出现的频率块中。

优选地，所述构建装置还包括分发模块，所述分发模块用于将所述索引文件分发至服务器。

作为本发明的第四个方面，提供一种服务器，所述服务器包括：

接收模块，所述接收模块用于接收并存储本发明所提供的上述构建装置生产的索引文件，所述接收模块还用于接收检索词；

检索词加密模块，所述检索词加密模块用于对接收到的检索词进行加密，生成密文检索词；

查找模块，所述查找模块用于利用所述密文检索词查找所述索引文件中的加密索引表，以获得检索结果；

文件获取模块，所述文件获取模块用于根据所述检索结果获取所述索引文件中的加密文件；

发送模块，所述发送模块用于将所述文件获取模块获取的加密文件发送至发送所述检索词的客户端。

创建了索引文件后，将索引文件分发至客户端。用户利用客户端进行检索时，输入检索词，客户端对检索词进行加密。检索词的加密方式与对初始索引表进行加密的方式相匹配，因此，可以直接对所述加密索引表进行索引，检索结果为加密文件。将加密文件返回给客户端，由客户端进行解密，从而获得需要的文件。由于在本申请中，分发至客户端的文件是加密索引表和加密文件，并且，检索过程中也没有对文件进行解密。也就是说，整个文件传输的过程中，所有的文件都是以密文的形式进行的，从而提高了检索的安全性。并且，在整个检索的过程中，不需要对索引文件进行解密，只有在得到检索结果后才对文件进行解密，从而可以提高了检索的效率。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1是本发明所提供的索引文件的构建方法的流程图；

图2是本发明所提供的检索方法的流程图；

图3是本发明所提供的构建装置的模块图；

图4是本发明所提供的服务器的模块图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

作为本发明的一个方面，提供一种索引文件的构建方法，如图1所示，所述构建方法包括：

在步骤S110中，对所有原始文件进行处理，以获得词序序列，所述词序序列包括多个词序；

在步骤S120中，评估所述词序序列中的各个词序的综合关键度；

在步骤S130中，将综合关键度大于阈值关键度的词序设定为关键词；

在步骤S140中，根据所述关键词创建初始索引表；

在步骤S150中，创建索引文件，所述索引文件包括对所述初始索引表进行加密获得的加密索引表和对所述原始文件进行加密获得的加密文件。

创建了索引文件后，将索引文件分发至客户端。用户利用客户端进行检索时，输入检索词，客户端对检索词进行加密。检索词的加密方式与对初始索引表进行加密的方式相匹配，因此，可以直接对所述加密索引表进行索引，检索结果为加密文件。将加密文件返回给客户端，由客户端进行解密，从而获得需要的文件。由于在本申请中，分发至客户端的文件是加密索引表和加密文件，并且，检索过程中也没有对文件进行解密。也就是说，整个文件传输的过程中，所有的文件都是以密文的形式进行的，从而提高了检索的安全性。并且，在整个检索的过程中，不需要对索引文件进行解密，只有在得到检索结果后才对文件进行解密，从而可以提高了检索的效率。

在本发明中，对如何确定词序的综合关键度并没有特殊的要求。例如，可以通过如下方法来计算综合关键度：

分析序列Z，评估词序的词频、位置、词长、词性、经验关键词匹配度等各项值E；

利用专家评估系统获取上述各项的权重Wgt；

利用上述各项的权重Wgt计算综合关键度C，具体地，f：E×Wgt→C。

在步骤S130中，当词序的综合关键度C大于阈值关键度C_T时，则将该词序确定为关键词K。

在本发明中，每接收到新的原始文件，都重新执行步骤S110至步骤150。即，接收到新的原始文件后，对该新的原始文件进行处理，获得词序序列，实现对词序序列的动态更新。

在本发明中，步骤S150包括：

对所述初始索引表进行加密，以获得加密索引表；

对所述原始文件进行加密获得加密文件。

在本发明中，对上述两个加密的步骤的先后顺序并没有特殊的要求，可以先执行对初始索引表进行加密的步骤，也可以先执行对原始文件进行加密的步骤，还可以同时执行两个步骤。

在本发明中，对步骤S140没有特殊的要求，作为一种优选实施方式，步骤S140可以包括以下步骤：

在步骤S141中，对所述关键词进行压缩，以获得定长关键词；

在步骤S142中，对所述词序序列进行压缩，以获得定长序列；

在步骤S143中，对所述定长关键词进行加密，生成关键词密文；

在步骤S144中，对所述定长序列进行加密，生成序列密文；

在步骤S145中，根据所述关键词出现的频率对所述关键词进行分块存储，所述关键词出现的频率越高，则该关键词的块的序号越小；

在步骤S146中，根据所述关键词密文、所述序列密文和所述关键词与块序号的对应关系创建所述索引表。

在步骤S130中获取的关键词K是不定长的字符型关键词。在步骤S141中，通过编码的方式将不定长的字符型关键词K压缩为定长关键词K’。具体地，K’＝HashCode(K)。并且，对每个关键词K都执行步骤S130。

在步骤S110中得到的词序序列Z也是不定长的序列，在步骤S142中，通过编码的方式将不定长的词序序列Z压缩为定长词序Z’，具体地，Z’＝HashCode(Z)。

经过步骤S141和步骤S142之后，可以减少索引文件的大小，降低对存储所述索引文件的设备的要求。

为了提高检索过程中的安全性，在步骤S143中，对定长关键词K’进行加密，生成关键词密文cK’，具体地，cK’＝E(K’)。相应地，在步骤S144中，对定长词序Z’进行加密，生成序列密文cZ’。具体地，cZ’＝E(Z’)。

在本申请中，关键词进行了分块存储，相当于根据关键词出现的频率对关键词进行了优先级划分。关键词出现频率越高，块的序号越小，也就是说，该关键词的优先级越高。在检索时，优先对块序号小的块进行检索查找。

在所述初始索引表中，词序序列、关键词都是以密文的形式存在的，因此具有更高的安全性。

在本发明中，关键词出现的频率与该关键词出现的次数、出现该关键词的文件数相关。

优选地，步骤S145可以包括以下步骤：

在步骤S145a中，设定每个块的存储阈值B_i，其中，i为块序号；

在步骤S145b中，根据所述关键词词频和出现该关键词的文件数信息计算所述关键词出现的频率f(fw，n)；

在步骤S145c中，将所述关键词出现的频率f(fw，n)与各个块的存储阈值B_i进行比较；

在步骤S145d中，将所述关键词存储在存储阈值小于或等于该关键词出现的频率块中。

也就是说，存储所述关键词的块满足以下关系：

f(fw，n)≥B_i。

在本发明中，对如何执行步骤S110并没有特殊的要求。对原始文件进行处理的步骤可以包括：

在步骤S111中，对接收到的明文的原始文件d进行处理，去除原始文件中的文件格式以及符号，获得处理后的文件d’；

在步骤S112中，根据预设方法，对处理后的文件d’进行分词处理，以生成分词序列<w,id,fw,<l₁,l₂,…,l_i,…,l_f>>，其中，w为分词得到的词序，id为文件标识，fw为词序在文件中出现的词频，li为词序在文件中出现的位置；

在步骤S113中，对多个文件d’进行处理，得到词序序列Z：<w,n,<id,fw,<l₁,l₂,…,l_i,…l_f>>>，其中，n为文件个数。

步骤S112中所示的“预设方法”可以是字符串匹配分词法，也可以是词义分词法，还可以是统计分词法。当然，本发明并不限于此。

在本发明中，可以将所述索引文件分发至服务器，在服务器端进行检索。具体地，所述构建方法还可以包括：

在步骤S160中，将所述索引文件分发至服务器。

作为本发明的第二个方面，提供一种检索方法，如图2所示，所述检索方法包括：

在步骤S210中，对接收到的检索词进行加密，生成密文检索词；

在步骤S220中，利用所述密文检索词查找本发明所提供的上述构建方法中所生成的索引文件中的加密索引表，以获得检索结果；

在步骤S230中，根据所述检索结果获取所述索引文件中的加密文件；

在步骤S240中，将步骤S230中获得的加密文件发送至发送所述检索词的客户端。

在服务器端执行所述检索方法。将所述索引文件分发至服务器后有服务器对所述索引文件进行存储。并且，检索词是检索人通过客户端输入的，并通过客户端发送至执行所述检索方法的服务器端。

将步骤S230中获得的加密文件发送至所述客户端后，由所述客户端对所述加密文件进行解密，获得明文信息。

如上文中所述，在数据传输过程中，所有的文件均是以加密的方式进行传输的。只有在客户端获取了目标文件后，才对文件进行解密，从而提高了检索过程的安全性。

在步骤S220中，索引结果为目标文件的id，在步骤S230中，根据目标文件的id获取相应的加密文件。

在步骤S220中，对检索词加密的加密方法与步骤S150中对初始索引表和原始文件加密的方法相匹配。作为一种实施方式，步骤S220中对检索词加密的加密方法与步骤S150中对初始索引表和原始文件加密的方法相同。

作为本发明的第三个方面，提供一种索引文件的构建装置，所述索引文件的构建装置用于执行本发明所提供的上述索引文件的构建方法。具体地，如图3所示，所述构建装置包括预处理模块310、词序评估模块320、关键词提取模块330、初始索引表创建模块340和索引文件创建模块350。

预处理模块310用于执行步骤S110，即，预处理模块310用于对所有原始文件进行处理，以获得词序序列，所述词序序列包括多个词序。

词序评估模块320用于执行步骤S120，即，词序评估模块320用于评估所述词序序列中的各个词序的综合关键度。

关键词提取模块330用于执行步骤S130，即，关键词提取模块330用于将综合关键度大于阈值关键度的词序设定为关键词。

初始索引表创建模块340用于执行步骤S140，即，初始索引表创建模块340用于根据所述关键词创建初始索引表。

索引文件创建模块350，该索引文件创建模块350用于执行步骤S350，即，索引文件创建模块350用于对所述初始索引表进行加密获得的加密索引表，且索引文件创建模块350还用于对所述原始文件进行加密获得的加密文件，以获得包括所述加密索引表和所述加密文件的索引文件。

上文中已经详细介绍了本发明所提供的索引文件的构建方法的工作原理和有益效果，这里不再赘述。

优选地，初始索引表创建模块340可以包括压缩单元341、加密单元342、感知单元343、索引表创建单元344。

压缩单元341用于执行步骤S141和步骤S142，即，压缩单元341用于对关键词进行压缩，以获得定长关键词，且压缩单元342还用于对词序进行压缩，以获得定长词序。

加密单元342用于执行步骤S143和步骤S144，即，加密单元342用于对所述定长关键词进行加密，生成关键词密文，且加密单元342还用于对所述定长词序进行加密，生成序列密文。

感知单元343用于执行步骤S145，即，感知模块343用于根据所述关键词出现的频率对所述关键词进行分块存储，所述关键词出现的频率越高，则该关键词对应的块的序号越小。

索引表创建单元344用于执行步骤S146，即，索引表创建单元344用于根据所述关键词密文、所述序列密文和所述关键词与块序号的对应关系创建所述初始索引表。

优选地，感知单元343包括阈值设定子单元343a、频率计算子单元343b和比较子单元343c。

阈值设定子单元343a用于执行步骤S145a，即，阈值设定子单元343a用于设定每个块的存储阈值。

频率计算子单元343b用于执行步骤S145b，即，频率计算子单元343b用于根据所述关键词出现的次数和出现该关键词的文件数信息计算所述关键词出现的频率。

比较子单元343c用于执行步骤S145c和步骤S145d，所述比较子单元用于将所述关键词出现的频率与各个块的存储阈值进行比较，并将所述关键词存储在存储阈值小于或等于该关键词出现的频率的块中。

优选地，所述构建装置还包括分发模块360，该分发模块360用于执行步骤S160，即，分发模块360用于将所述索引文件分发至服务器。

服务器接收并存储所述索引文件。当所述服务器接收到客户端发出的检索词后，执行本发明所提供的上述检索方法。

作为本发明的第四个方面，提供一种服务器，如上文中所述，所述服务器用于执行本发明所提供的上述检索方法，具体地，如图4所示，所述服务器包括接收模块410、检索词加密模块420、查找模块430和文件获取模块440。

接收模块410用于接收并存储本发明所提供的上述构建装置生产的索引文件。

检索词加密模块420用于执行步骤S210，即，检索词加密模块420用于对接收到的检索词进行加密，生成密文检索词。

查找模块430用于执行步骤S220，即，该查找模块430用于利用所述密文检索词查找所述索引文件中的加密索引表，以获得检索结果。

文件获取模块440用于执行步骤S230，即，文件获取模块440用于根据所述检索结果获取所述索引文件中的加密文件。

发送模块450用于执行步骤S240，即，发送模块450用于将查找模块获得的加密文件发送至发送所述检索词的客户端。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (8)

1.一种索引文件的构建方法，其特征在于，所述构建方法包括：

对所有原始文件进行处理，以获得词序序列，所述词序序列包括多个词序；

评估所述词序序列中的各个词序的综合关键度；

将综合关键度大于阈值关键度的词序设定为关键词；

根据所述关键词创建初始索引表；

创建索引文件，所述索引文件包括对所述初始索引表进行加密获得的加密索引表和对所述原始文件进行加密获得的加密文件；根据所述关键词创建初始索引表的步骤包括：

对所述关键词进行压缩，以获得定长关键词；

对所述词序序列进行压缩，以获得定长序列；

对所述定长关键词进行加密，生成关键词密文；

对所述定长序列进行加密，生成序列密文；

根据所述关键词出现的频率对所述关键词进行分块存储，所述关键词出现的频率越高，则存储该关键词的块的序号越小；

根据所述关键词密文、所述序列密文和所述关键词与块序号的对应关系创建所述初始索引表。

2.根据权利要求1所述的构建方法，其特征在于，在对所述根据所述关键词出现的频率对所述关键词进行分块的步骤包括：

设定每个块的存储阈值；

根据所述关键词出现的次数和出现该关键词的文件数信息计算所述关键词出现的频率；

将所述关键词出现的频率与各个块的存储阈值进行比较；

将所述关键词存储在存储阈值小于或等于该关键词出现的频率块中。

3.根据权利要求1所述的构建方法，其特征在于，所述构建方法还包括：

将所述索引文件分发至服务器。

4.一种检索方法，其特征在于，所述检索方法包括：

对接收到的检索词进行加密，生成密文检索词；

利用所述密文检索词查找权利要求1至3中任意一项所述的构建方法中所生成的索引文件中的加密索引表，以获得检索结果；

根据检索结果获取所述索引文件中的加密文件；

将检索到的所述加密文件发送至发送所述检索词的客户端。

5.一种索引文件的构建装置，其特征在于，所述构建装置包括：

预处理模块，所述预处理模块用于对所有原始文件进行处理，以获得词序序列，所述词序序列包括多个词序；

词序评估模块，所述词序评估模块用于评估所述词序序列中的各个词序的综合关键度；

关键词提取模块，所述关键词提取模块用于将综合关键度大于阈值关键度的词序设定为关键词；

初始索引表创建模块，所述初始索引表创建模块用于根据所述关键词创建初始索引表；

索引文件创建模块，所述索引文件创建模块用于对所述初始索引表进行加密获得的加密索引表，且所述索引文件创建模块还用于对所述原始文件进行加密获得的加密文件，以获得包括所述加密索引表和所述加密文件的索引文件；所述初始索引表创建模块包括：

压缩单元，所述压缩单元用于对所述关键词进行压缩，以获得定长关键词，且所述压缩单元还用于对所述词序序列进行压缩，以获得定长序列；

加密单元，所述加密单元用于对所述定长关键词进行加密，生成关键词密文，且所述加密单元还用于对所述定长序列进行加密，生成序列密文；

感知单元，所述感知模块用于根据所述关键词出现的频率对所述关键词进行分块存储，所述关键词出现的频率越高，则存储该关键词的块的序号越小；

索引表创建单元，所述索引表创建单元用于根据所述关键词密文、所述序列密文和所述关键词与块序号的对应关系创建所述初始索引表。

6.根据权利要求5所述的构建装置，其特征在于，所述感知单元包括：

阈值设定子单元，所述阈值设定子单元用于设定每个块的存储阈值；

频率计算子单元，所述频率计算子单元用于根据所述关键词出现的次数和出现该关键词的文件数信息计算所述关键词出现的频率；

比较子单元，所述比较子单元用于将所述关键词出现的频率与各个块的存储阈值进行比较，并将所述关键词存储在存储阈值小于或等于该关键词出现的频率块中。

7.根据权利要求5所述的构建装置，其特征在于，所述构建装置还包括分发模块，所述分发模块用于将所述索引文件分发至服务器。

8.一种服务器，其特征在于，所述服务器包括：

接收模块，所述接收模块用于接收并存储权利要求5至7中任意一项所述的构建装置生产的索引文件，所述接收模块还用于接收检索词；

检索词加密模块，所述检索词加密模块用于对接收到的检索词进行加密，生成密文检索词；

查找模块，所述查找模块用于利用所述密文检索词查找所述索引文件中的加密索引表，以获得检索结果；

文件获取模块，所述文件获取模块用于根据所述检索结果获取所述索引文件中的加密文件；

发送模块，所述发送模块用于将所述文件获取模块获取的加密文件发送至发送所述检索词的客户端。

Images