CN107423341A - 一种密文全文搜索系统 - Google Patents

Abstract

本发明主要涉及全文检索和信息安全领域，公开了一种密文全文搜索系统，系统包括：全文索引系统，索引安全算法，信息安全系统等组成。系统通过索引加密，查询加密，查询结果为密文，实现全文检索整个过程的加密，信息的加解密一般在用户侧完成，从而保证信息的安全。索引加密算法的特征：语句前缀相同加密的结果具有相同的一致性，即采用密文的检索和原来的语句检索是一致的，这样实现密文的检索。索引安全算法可以采用分离码算法实现，对索引的密文采用语义特征编码的方式编码，形成密文语义树，通过语义树构建全文检索系统。

Description

一种密文全文搜索系统

技术领域

本发明主要涉及全文检索和信息安全领域，公开了一种密文全文搜索系统。主要包括：索引加密，查询加密，查询结果为密文，保证全文检索整个过程的信息安全，信息的索引加密形成密文，对密文进行特征编码，构成密文语义树，通过基于语义树的全文索引系统来实现密文全文检索。

背景技术

信息技术的飞速发展，对信息的安全提出了很高的要求，如何实现信息安全，从信息的安全存储，安全传输到信息的安全检索，是云计算时代必须面临的挑战。虽然在全文检索技术和加密算法领域，已有很好的商业产品出现，但如何高效的检索这些加密的非结构化数据，还是一个亟待解决的难题。

密文全文检索，在信息资源加密存储的前提下，通过对其构建密文全文索引，提供高效安全的检索方法。目前，国内外在全文检索和密文数据库检索领域的研究已趋向于成熟，但是基于密文的全文检索领域尚待发展。密文全文检索的核心在于如何构建安全高效的密文索引文件，既能满足索引文件的安全性需求，又能满足索引文件的高效检索需求。

针对这个问题，结合安全算法和全文关键词索引的技术，有了一些研究和方案。例如：在对密文检索的关键技术和传统全文检索技术的研究基础上，对传统的倒排索引结构进行改造，构造出一种安全的密文全文索引结构。

本发明采用的是和关键词索引不同的方式，采用安全算法结合语句索引方式，构成密文全文检索系统，本发明的算法涉及到以下公开的技术：

《联想记忆的语义系统》，公布号：CN106095750A，主要涉及人工智能领域自然语言处理，公开一种具有联想记忆功能的语义系统，通过语义标识ID的链式存储构建语义上下关联的关系，实现对语句的上下文搜索，从而实现一定程度的语义会话功能。系统主要用于人工智能领域的语义理解，智能机器人的人机对话，自然语言的语句搜索，适合于处理大规模真实的文本信息。本发明以语句为基本单位，实现基于语义的联想记忆。

《基于语义树的索引方法和系统》，公布号：CN105843960A，主要涉及全文搜索领域，公开了一种构建语义树，并提供基于语义树的索引方法和系统。按语句中的文字的顺序对语句进行增量散列编码处理，形成特定的语义信息编码，存储前置语义特征信息，文字和语义特征，构建语义树；通过语义树，语义树和文档关联表，和文档的存储，建立基于语义的索引基础，提供基于语义树的全文搜索引擎。本发明的优点是不再依赖于分词服务，存储空间小，查询速度快等特点，适合文字信息的全文索引，和基于语义树的语义理解和处理。

《一种分离编解码的方法和系统》，公布号：CN105721882A。公开了一种分离编解码的方法和系统，利用数字不同进制的转换结合码表，而形成信息变换序列和位数序列分离，实现信息的编码；以及结合码表、变换序列和位数序列来解码实现信息还原的方法。信息变换序列指的是：按设定读取的单元的信息形成整数，通过设定的进制转换转换，结合码表形成的字符序列。位数序列指的是：按设定读取的单元的信息形成整数，通过设定的进制转换转换，结合码表形成的字符的个数序列。不同进制之间转换形成信息的分块存储或者传输，可以保证信息的安全性，常用于多宿主机的通信，或者不同通道的通信之间的信息安全传输；结合码表满足特定的信息传输安全。

本发明提出的密文检索系统，不同于传统的关键词密文检索系统，主要特征为索引方式算法的不同，索引的方法为基于语句的索引算法；索引加密算法的特征：语句前缀相同加密的结果具有相同的一致性，即采用密文的检索和原来的语句检索是一致的，这样实现密文的检索。信息的安全主要在用户侧完成，信息实现传输、存储和检索整个环节的密文传输。

发明内容

本发明公开一种密文全文搜索系统，主要包括：信息的加密，加密信息索引，信息解密，全文索引系统。主要利用密文和原文前缀一致性，通过查询前缀匹配实现密文的检索，保证密文的查询和原始语句的查询结果的一致。

索引加密算法的特征：语句前缀相同加密的结果具有相同的一致性，这样保证采用密文的检索和原来的语句检索是一致的。加密信息全文检索算法可以采用分离码算法(指的是《一种分离编解码的方法和系统》实现的算法)，信息按标点符号分割，形成信息加密单元，通过分离码算法加密，结合标点符号构成全文加密索引的相关字段，进入全文索引。

全文加密索引。全文按语句进行加密，对加密的信息做全文检索。

加密采用码表作为密码保存在客户端，或者加密后保存到服务器。

全文采用加密的方式保存，保存的方式不限于分离码加密算法，可以采用其它或者多种方式的组合。

本发明建立在基于语义的全文搜索引擎的基础之上，下面简单介绍基于语义信息的全文搜索引擎。详细见《基于语义树的索引方法和系统》，专利公布号：CN105843960A。

基于语义树的索引方法和系统，通过文档的导入，以语义中的句子为单位，形成语义树，由此构建的全文检索系统。

基于文字的序列特征信息的表示方法。语义是基于文字上下关联的，通过对文字信息的增量hash编码，构建文字的序列信息特征，即语义特征序列。语义特征序列构建形式如下：语句中的文字排列如下：w₁w₂w₃...w_n；依次表示为文字1到文字n的排列；

w₁的特征序列定义为t₁，t₁＝hash(w₁)；

w₂的特征序列定义为t₂，t₂＝hash(t₁+w₂)；

依此类推，w_n的特征序列定义为t_n，t_n＝hash(t_n-1+w_n)；

t_i其中i＝1，2，...n表示该语句的语义特征序列。

语义树的构建。语义树的概念如下：基于文字的表示习惯，以语句为单位构建文字和文字之间的前后关系，具体表现为存储的内容包括：前文字的特征信息编码，当前文字信息，当前文字序列的特征信息编码。语义树基本构建单元包括：

{t_i-1，w_i，t_i，flag}，其中flag为该特征在句子中位置的标识(居首、句中和句尾)，由此组建语义树。

基于文字的编码规定，结合文字特有的分割符对语句进行切分，对语句进行特征序列的编码处理。

基于文字的编码规定实现单一语种、多语种结合的语义树。通过对组建语义树的编码范围的给定，可以构建单一语种、多语种组合甚至于不分语种的语义树。

语义特征序列和文档的关联存储。语义特征序列主要有三类：句首、句中和句尾特征序列，仅仅需要记录句尾的语义特征序列和文档的关系即可。句尾语义特征序列和文档的标识形成对应的关系，存储和记录该对应关系，存储该语义特征序列代表的语句在文档的位置。

针对语句或者语句片段的查找。通过构建查找的内容的特征序列，在特征语义树种查找该记录，查找主要分为以下步骤：

特征序列的最大化查找。首先查找位于句尾的特征序列，找到及进行关联文档的查询即可；否者进入特征序列的递减查找。

特征序列的递减查找。从句尾特征序列向前递减查找，以此递归直到找到特征序列或者没有找到句首的特征序列为止。

语句特征序列的关联文档或者处理方式查找。查找到的语义特征序列如果位于文档尾部，则可以从语义特征序列和文档的关联存储查找文档标识，通过文档表示进行文档的查找；否则进入查找句尾特征序列。

查找句尾特征序列，在语义树中查找句尾特征序列：

语义树基本存储机构为{t_i-1，w_i，t_i，flag}；

查找t_i-1特征序列，通过语义树首先找到t_i，判断是否为句尾；

如果是，则从文档和特征序列的关系表中查询文档的标识；如果否，则继续查找，直到找到句尾特征序列，根据特征序列查询文档标识。

查询文档标识。从特征序列和文档的关系表中，查询文档标识和该特征序列代表的文档在该文档的位置等信息。

查询文档。根据文档标识查询文档信息。

查询语句的语义处理和理解方法。根据句尾语义特征序列，在文档的存储中找到相关的处理方法。

本发明语句加密方式采用《一种分离编解码的方法和系统》，公布号：CN105721882A。

一种分离编解码的方法和系统利用数学不同进制之间的转换结合变换的码表，实现信息编解码，包括：信息的码表单元；信息的编码单元；信息的解码单元。

一种分离编解码的方法和系统实现文档分解成码表、变换序列和位数系列三个部分，或者采用默认码表的变换序列和位数序列两部分；实现通过码表，变换序列和位数序列还原文档的方法。

基于上述目的一种分离编解码的方法和系统提供的不同进制之间转换形成码和位分离编解码的方法包括：

制定码表：确定处理信息的单元位数，确定转换的进制，定义码表；

编码：根据要求读取64位(或者128位，或者其它)赋值给整数，然后根据要求转换成相应的进制(对应的数字用码表表示的字符表示)，转换结果记录到变换序列，转换后的位数记录到位数序列，一直持续到转换完毕，最后形成两个部分。变换序列的字符一定是码表的字符，位数序列主要记载转换单元对应在变换记录中的长度。

解码：读取位数信息，按位数读取相关的字符，查找码表变换成相应的数字，结合原有的进制定义，转换为整数，存入到文件中，一直到转换完毕，实现信息的解码。

分离码算法的特性：支持前缀语句匹配和加密信息的前缀匹配对应，从而实现信息的密文索引对应于原文的全文索引。

本发明采用对文章进行分句后，对语句进行加密，结合原来的标点符号，形成需要进行全文索引的信息，全文索引信息的原文采用分离编码或者其它加密方式进行。

进行全文检索时，查询前端分解查询的语句，进行编码，输入编码信息为检索条件，进行检索，查找到匹配的语句时。根据语句的记载找到全文即可。

全文按原先加密的方式，实现解密，这样实现全文的密文检索。

用户密码的安全存储。信息的加解密主要在客户端完成，密钥的管理采用客户端保管和服务端加密保管两种形式。

用户索引加密的密钥(即分离码算法的码表)安全保存，可以采用其它的安全算法对密钥进行再次加密，加密的结果可以仅保留在客户端，或者保存到服务端，或者两者的结合。实现索引密钥的安全保存。

本发明公开的一种密文全文检索的方法，能够对信息的加密后进行索引，查询信息同样采用加密的方式传递，查询的结果也为密文，从而满足用户对信息安全的需求。

具体实施方式

本发明主要涉及全文检索和信息安全领域，公开了一种密文全文搜索系统。系统包括：全文索引系统，索引安全算法，信息安全系统等组成。索引安全算法可以采用分离码算法实现，全文检索采用基于自然语句的索引系统提供。

分离码算法介绍，利用数学不同进制之间的转换结合变换的码表，实现信息编解码，包括：信息的码表单元；信息的编码单元；信息的解码单元。

实现信息分解成码表、变换序列和位数系列三个部分；

分离码算法包括：

制定码表：确定处理信息的单元位数，确定转换的进制，定义码表；

编码：根据要求读取64位(或者128位，或者其它)赋值给整数，然后根据要求转换成相应的进制(对应的数字用码表表示的字符表示)，转换结果记录到变换序列，转换后的位数记录到位数序列，一直持续到转换完毕，最后形成两个部分。变换序列的字符一定是码表的字符，位数序列主要记载转换单元对应在变换记录中的长度；也可以直接用空格分割变换序列，这样位序列的信息就包含在空格分割变换序列中。

解码：读取位数信息，按位数读取相关的字符，查找码表变换成相应的数字，结合原有的进制定义，转换为整数，一直到转换完毕，得到解码后的信息。对于空格分割的变换序列，直接以空格为分割读取信息进行转换即可。

信息加密采用分离码，信息的索引采用语句的加密，加密信息保存位表和变换序列，或者直接保存为空格分割的变换序列。

下面介绍分离码算法，通过实例，理解分离码算法的特性：支持前缀语句匹配和加密信息的前缀匹配对应，从而实现信息的密文索引对应于原文的全文索引。

分离码算法实例，密钥为：

0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ+-

原文：我们说的前缀匹配方式可以这样理解

密文(以空格分割)：

CzoAA3 XOaWL2 QuKC42 BDozD3 Y2oVc2 VCuxd2 CrpKB3 Y+oVf2 Li+KB2 E-rCC3wuXVg2 6y+Fz2

位序列：6，6，6，6，6，6，6，6，6，6，6，6

原文：我们说的前缀匹配方式

密文：CzoAA3 XOaWL2 QuKC42 BDozD3 Y2oVc2 VCuxd2 CrpKB3 Y+8

位序列：6，6，6，6，6，6，6，3

原文：我们说

密文：CzoAA3 XOaWL2 Q2

位序列：6，6，2

本发明采用基于语义树的全文搜索引擎服务，服务的实例包括：文档导入，语义树的构建，特征语义和文档的关系，文档信息的存储；提供基于语义的查找功能。简单说来包括语义树的建立和语句的查找两部分。

语义树的建立过程。具体包括如下：

文档的导入；

确定文档结果中需要建立索引的信息域；

确定需要索引的文字编码范围；

确定文字的分割符；

切分文档为语句，按语句分隔符号的定义，对文档进行分句处理。

对语句进行特征信息编码；

存储特征序列到语义树信息表中；

存储句尾语义特征序列和文档的关系表；

存储文档。

通过全文信息表，特征语义树表，语义特征序列和文档的关系表，完成信息的导入，索引的构建过程，为信息的查找提供基础。

语义特征序列的构建。给定信息处理的编码规则和编码范围，对语句的文字进行筛选，构建文字序列。语义特征序列构建形式如下：

语句中的文字排列如下：w1w2w3...wn；依次表示为文字1到文字n的排列；

w1的特征序列定义为t1，t1＝hash(w1)；

w2的特征序列定义为t2，t2＝hash(t1+w2)；

依此类推，wn的特征序列定义为tn，tn＝hash(tn-1+wn)；

ti其中i＝1，2，...n表示该语句的语义特征序列。

查找最大匹配的语义特征向量的过程，具体步骤如下：

针对需要查询的内容构建语义特征序列，t1t2t3...tn；

按序列尾部向前的方向递减查找，直到找到或者记录为空；

查找特征序列匹配的尾部特征序列。具体步骤如下：

判断特征序列是否句尾特征序列；

是，则找到，进行文档匹配环节；

否，则查找前序列为该特征序列的语义特征序列；

判断特征序列是否句尾特征序列，递归直到找到句尾特征序列。

查找文档标识。根据句尾特征序列，在语义特征信息和文档的关系中查询文档标识记录，查询语句在文档中的位置。

查找文档信息。根据文档的标识查找该文档，或者该文档给定的该语句的处理方式。

本发明的密文全文搜索具体步骤如下：

全文检索采用信息序列特征编码和检索的方法和系统，对数字信息进行分段，对分段的信息按最小信息单元进行增量散列编码，形成最小信息单元组合的特征信息集合，便于信息的序列化检索。信息序列特征编码和检索的方法和系统方法主要包括：信息的分割，信息的最小单元的定义，分割信息编码形成特征序列，存储特征序列、文档，以及特征序列和文档的关系。

密文全文检索，主要对于信息进行加密，然后依次填写关键字、文档和关键字ID的索引和加密后的文档信息表，主要分为以下部分：

确定索引安全算法的码表(密码)，码表再安全加密算法和密钥。

进行全文分解，分解为语句的形式，语句采用索引安全算法计算，计算的结果为索引密文。

填写关键字表，加密后的变换序列为码表有限的字符组成，关键字表是建立在码表的基础之上；

填写文档和关键字ID的索引，需要填写的字段包括：具有语句标识的关键字特征编码，加密后的文档ID；

确定文档加密的方式，填写文档信息表，采用分离码加密，则加密的文档保存加密后的结果和位数序列，或者带有语句分隔符的空格分割的变换序列；采用其他的方式，需要设定密码和密码管理的方式。

信息加密主要分为：存储字段加密和索引字段加密。

存储字段加密。采用分离码时，码表作为密钥，变换序列和位数序列作为密文，或者以空格分割的变换序列，结合原有文档的语句分割符号作为密文；采用其它加密方式，密钥和密文分别存储。

索引字段加密。采用分离码，码表作为密钥，变换序列作为密文，或者空格分割的变换序列作为密文。索引字段进行分句，语句采用分离码加密，变换序列替换信息中语句，或者空格分割的变换序列换信息中语句，标点符号不变，构成索引字段信息。

索引字段加密和存储加密可以结合在一起，使用分离码产生以空格分割的变换序列。空格分割的单元字符数目对应的该单元的位序列。这样全文索引时，采用空格分词，标点符号分割句子，以词为基本单元构成特征序列，从而实现全文索引。

对索引的字段采用语义树的索引，构建密文语义特征编码，构建密文语义树。

密文全文检索存储信息包括：

密文语义树。密文特征编码，前密文特征编码，密文和语句标识组成。

密文语句和文档关系存储。包括：密文语句特征编码，文档ID组成。

文档存储。文档的条目信息经过加密后存放到服务器端，索引为文档ID。

密文检索。查询的信息，经过分句，分离码编码，结合标点符号，构成查询的条件。

对于全文检索服务而言，查询的步骤和正常的全文检索一致，查找最大匹配的语义特征向量的过程，具体步骤如下：

针对需要查询的内容构建语义特征序列，t1t2t3...tn；

按序列尾部向前的方向递减查找，直到找到或者记录为空；

查找特征序列匹配的尾部特征序列。具体步骤如下：

判断特征序列是否句尾特征序列；

是，则找到，进行文档匹配环节；

否，则查找前序列为该特征序列的语义特征序列；

判断特征序列是否句尾特征序列，递归直到找到句尾特征序列。

查找文档标识。根据句尾特征序列，在语义特征信息和文档的关系中查询文档标识记录，查询语句在文档中的位置。

查找文档信息。根据文档的标识查找该文档，或者该文档给定的该语句的处理方式。

查询结果的解密。根据信息导入时加密的方法进行解密，采用分离码加密的，同样采用分离码解密；采用其它方式的同样如此。

密钥的保存。密钥为信息安全的基础，密钥包括：分离码码表、加密方式的密钥。保存在用户端或者服务器端时，需要采用加密的方式保存，即对密码实行加密。

用户侧信息加密或者加密密钥的获取，直接从用户侧获取和从服务器获取两种方式。

总结：密文全文信息检索主要依靠分离码算法或者其他序列加密(保证加密信息和原始信息具有相同的序列匹配方式)，原始信息的检索可以通过加密信息来实现，信息的存储和检索同样在信息安全的基础之上完成。

Claims (10)

1.一种密文全文搜索系统，主要特征包括：

全文检索系统存储的为信息加密后结果，信息检索的条件为加密查询条件，检索的结果为加密信息；信息的加解密一般在用户端实现。主要包括两个部分：

密文全文索引系统；

信息安全系统。

2.按权利1，密文全文索引系统主要特征包括：

密文索引和密文特征序列，密文全文索引存储，密文查询。

3.按权利1，信息安全系统主要特征包括：

文档信息的加解密处理，索引信息的密文处理，查询信息的加解密处理，和密钥的管理。

4.按权利3，索引信息的密文处理其特征在于：

索引的信息分割：按给定的分割符号(可以为标点符号，也可以指定分割符号)。对信息进行分割，形成一个个单元；

单元采用分离编解码算法或者其他序列加密方式(保证加密信息和原始信息具有相同的序列匹配方式)，相同前缀加密的信息和原始信息具有相同的前缀匹配方式。

对于分离编解码而言，加密结果为分离编解码变换序列，或者为空格分割的变换序列。

用加密的结果替换原始的单元信息，给定的分割符号(可以为标点符号，也可以指定分割符号)不变，构成需要索引的密文。

5.按权利2，密文索引和密文特征序列的主要特征：

如果密文为包含空格分割的变换序列，则编码的最小单元为空格分割的信息单元；如果密文为变换序列，则最小单元为码表给定的字符单元。按密文的最小单元的顺序对语句进行增量散列编码处理，形成密文语义特征信息编码，构成该语句的密文特征序列。

6.按权利2，密文全文索引存储，其主要特征包括：

密文特征序列构成的语义树；密文语句特征序列和文档的关系；密文文档的存储。

7.按权利3，查询信息的加解密处理，主要特征在于：

输入查询的信息，按索引信息的密文处理编码，作为查询条件从密文全文索引系统中查询，查询以最大前缀匹配为原则，查询的结果返回给用户，查询的结果由最终用户解密。

8.按照权利6，密文语义树主要特征包括：

密文语义树主要由密文特征编码，密文，前密文特征编码，语句标识组成，通过密文特征编码和前密文特征编码的关系，构成语义树，即每个密文特征编码最多有一个前密文特征编码，当为句首时，没有前密文特征编码。

9.按照权利6，密文语句特征序列和文档的关系存储主要特征包括：

密文语句特征序列和文档的关系主要由含语句标识的密文特征编码和文档ID组成。

10.按照权利6，密文文档的存储主要特征：

密文加密采用分离码算法，则参与索引为空格分割结合分句符号的变换序列。具体做法如下：用加密的结果替换原始的单元信息，给定的分割符号(可以为标点符号，也可以指定分割符号)不变，构成需要索引的密文。不参与索引的信息，无需对信息进行分句处理，信息为空格分割的变换序列，或者为变换序列和位序列结合。