CN113076319A - 基于离群值检测技术和位图索引的动态数据库填充方法 - Google Patents

Abstract

本发明提供了一种基于离群值检测技术和位图索引的动态数据库填充方法。该方法包括如下步骤：首先生成填充数据库，利用离群值检测技术选择符合条件的伪文件对真实数据库进行填充，文件与关键字的对应关系用位图索引表示。接着根据更新操作对填充数据库进行动态修改，如果更新操作为添加，若更新后该关键字对应的文件数最多，则根据此数量对其他关键字进行填充；否则减少对该关键字的填充，直到该关键字的频率减少到和更新操作前一样。如果更新操作为删除，则增加对该关键字的填充，直到该关键字的频率增加到和更新操作前一样。该填充方法适用于动态可搜索加密方案，可以防止数据泄露，比如抵抗基于关键字频率推断的攻击，提高方案的安全性。

Description

基于离群值检测技术和位图索引的动态数据库填充方法

技术领域

本发明涉及可搜索加密技术领域，具体地说是一种基于离群值检测技术和位图索引的动态数据库填充方法。

背景技术

随着网络的快速发展以及大数据时代的到来，本地存储与计算资源不能满足人们的需求，云存储与计算技术迅速发展起来。为了保证数据的安全性，通常会把数据加密后上传到云服务器。然而，在密文数据上执行搜索是非常困难的。因此可搜索加密(SE,Searchable Encryption)技术被提出。早期的SE方案都是静态的，不支持数据库动态更新，比如对上传的文件添加或删除，这限制了SE方案的应用。为了解决这一问题，动态对称可搜索加密(DSSE,Dynamic Searchable Symmetric Encryption)技术被提出。

然而DSSE方案存在数据泄露的问题，比如基于关键字频率推断的攻击(如计数攻击)可以很容易地从访问模式中识别查询关键字，即查询结果，数据库填充技术是解决上述问题简单且有效的措施，并且适合真实的大数据集。近年来，填充算法的研究重点主要在如何设计高效的填充方案，然而现有的填充算法都不适用于动态数据库。如何设计一个高效且适用于DSSE方案的填充方案成为一种迫切的需求。

发明内容

本发明的目的就是提供一种基于离群值检测技术和位图索引的动态数据库填充方法，本方法适用于DSSE方案，可以根据动态更新操作更新填充数据库，提升动态更新的效率，并且可以有效防止数据泄露，提升DSSE方案的安全性。

本发明是这样实现的：一种基于离群值检测技术和位图索引的动态数据库填充方法，包括以下步骤：

a、生成填充数据库；

根据原始数据库每个关键字的填充计数，对原始数据库进行聚类，利用现有的最优分区算法来创建具有最优填充比的关键字集群，集群中每个关键字按照频率最大的关键字填充至相同的数量。根据每个关键字需要填充伪文件的数量随机生成伪文件进行填充，直到所有关键字填充到最大填充计数为止，由填充的伪文件生成填充数据库，并生成相应索引。

b、根据更新操作动态调整填充数据库；

更新操作要么为对关键字的添加操作，要么为对关键字的删除操作；

若操作为添加，则首先需要判断添加后的关键字对应的文件数量是否最多(即关键字频率是否最大)，若是则根据此关键字频率对其他关键字进行填充；否则需要对填充数据库中此关键字对应的填充文件尝试删除，即减少对该关键字的填充。

若操作为删除，则需要对填充数据库中未填充此关键字的伪文件尝试填充，即增加对该关键字的填充。

在尝试性删除或尝试性填充过程中，均需要通过局部离群因子(LOF)来进行离群值检测，即：对尝试更改的伪文件进行离群值检测，如果没有被识别为离群值，则更改此伪文件并更新填充数据库以及对应索引；若被识别为离群值，则回滚到修改前的状态，并选择下一个伪文件进行尝试更改，再检测，依次循环，直至更改成功。

无论哪一操作，在更改成功后均需要判断是否每个关键字的频率均相同，即判断每一关键字对应的真实文件与填充的伪文件数量之和是否均相同，如果是，则更新操作完成，否则，循环执行更改操作。

其中，生成索引的依据如下：

根据位图索引的表示方法与运算规则：假设数据库包含n个文件，对于每个关键词，对应一个n位长的比特串，如果关键字存在于文件f_i，则将比特串的第i位设为1，否则设置为0。如果添加或者删除文件/关键字对，需要生成对应比特串并将其加到初始比特串上。本发明采用的是一个n位的位图索引来表示真实文件与填充的伪文件，其中前q位来表示真实文件存在与否，如果文件f_i存在，那么第i位就表示为1，不存在表示为0。对于填充的文件，若填充了文件v_i，则索引的第q+i位就设置为1，未填充设置为0。

离群值检测的依据如下：

LOF(v)具体计算方法如下：给定一个伪文件v，它的k近邻N(v)首先通过测量每个真实文件点的海明距离d来导出：

N(v)←{r∈D\v|d(v,r)≤k-dist(v)} (1)

其中r为真实文件，D为真实文件的集合，k-dist(v)是伪文件v和他的k近邻之间的距离，之后，可达距离计算如下：

reach-dist(v,r)＝max{k-dist(r),d(v,r)} (2)

然后，伪文件v的局部可达性密度计算如下：

最后，计算LOF(v)：

经过计算LOF值来进行离群值检测，如果LOF(v)＜1，则此伪文件符合条件，否则该伪文件被识别为离群点。

本发明引入离群值检测技术设计了一种根据DSSE方案中动态更新操作动态修改填充数据库的方法。使用离群值检测技术选择符合条件的伪文件进行填充，从而防止DSSE方案受到基于关键字频率的推理攻击。基于位图索引设计了新型索引结构，简化了更新操作，提高了更新效率，并且由于添加和删除使用同一模块，有效防止泄露插入时间等信息，进一步提升了DSSE的安全性。

附图说明

图1是本发明的方法流程图。

图2是本发明中动态更新时索引变化的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本发明进行进一步详细说明。

本发明提出一种基于离群值检测技术和位图索引的动态数据库填充方法，引入离群值检测技术设计了动态数据库填充方法。根据离群因子选择生成的伪文件对数据库进行填充。基于位图索引设计了适用于填充后数据库的新型索引结构，将索引位划分为真实位和伪造位两部分，在修改真实文件索引的同时可以完成对填充数据库的更新，并且索引更新只需要同态加法，使得DSSE方案更新操作中索引修改过程简单且高效。

如图1所示，本发明所提供的云计算环境下基于离群值检测技术和位图索引的动态数据库填充方法包括如下步骤：首先生成填充数据库，即利用离群值检测技术选择符合条件的伪文件对原始数据库进行填充，文件与关键字的对应关系用位图索引表示。接着根据更新的操作对填充数据库进行动态修改，直到该关键字的频率恢复到以前的状态，即对应的真实文件和填充文件数量之和恢复到和更新操作前一样。

下面结合实际例子详细介绍本发明。

步骤一：生成填充数据库。

对于给定的数据库DB，首先基于关键字频率对其进行聚类，这里所说的关键字频率指关键字出现在各文件中的频次，以文件数来记录关键字频率；即：一个关键字在某一个文件中出现过，频率记为1，若在两个文件中出现过，频率记为2，以此类推。以关键字频率对关键字进行聚类，对于某一聚类(或称簇)C＝{w₁,...,w_|C|}，按照关键字频率递增排列，一个簇C中除频率最大的关键字w_|C|外，其余关键字均需要填充伪文件，伪文件和真实文件组合起来，使得所有关键字频率均相等，即每个关键字均被填充到了最大的频率数量|DB(w_|C|)|。根据簇C，计算出除频率最大的关键字w_|C|外，其余关键字需要填充的伪文件的数量，并将需填充的关键字以及关键字对应的需填充的伪文件的数量一并放入集合G中。

根据集合G中数据生成伪文件，伪文件生成方法如下：从集合G中需填充的关键字中随机选取τ位关键字进行填充以生成伪文件v，其中τ是从范围[l,u]中随机选取的，l和u分别是数据库中最小文件大小和最大文件大小，因此所生成的伪文件v大小也在真实文件的大小范围内；生成伪文件v之后，采用LOF(局部离群因子，见下面描述)算法对伪文件v进行离群值检测，若LOF(v)＜1，那么表明其与真实文件无法区分，则将其加入到填充数据库PDB中，相应地，伪文件v中包含有某一关键字，集合G中与该关键字对应的需填充的伪文件的数量减1；若LOF(v)≥1，表明其与真实文件可以区分开来，这时就无法将其加入到填充数据库中，此时应重新从集合G中需填充的关键字中随机选取τ位关键字进行填充以生成伪文件v，之后检测……，直至集合G中需填充的关键字均被填充到了最大的频率数量(或者说直至集合G中所有关键字对应的需填充的伪文件的数量为0)为止。

在对伪文件v进行检测时，本发明采用了一个经典的离群值检测算法局部离群因子(LOF)来进行离群值检测，现有研究证明，点的LOF值近似等于1表明点在簇内。因此，本发明使用这个阈值来验证伪文件v，以检查它是否远离其他真实文件。LOF(v)的具体计算方法如下：给定一个伪文件v，它的k近邻N(v)首先通过测量每个真实文件点的海明距离d来导出：

N(v)←{r∈D\v|d(v,r)≤k-dist(v)} (1)

其中r为真实文件，D为真实文件的集合，k-dist(v)是伪文件v和它的k近邻之间的距离，之后，可达距离计算如下：

reach-dist(v,r)＝max{k-dist(r),d(v,r)} (2)

然后，伪文件v的局部可达性密度计算如下：

最后，计算LOF(v)：

式(4)中，lrd(r)为真实文件r的局部可达性密度，可参照公式(3)得出。

经过计算LOF值来进行离群值检测，如果LOF(v)＜1，则表示此伪文件v符合条件，否则该伪文件被识别为离群点。

所生成的所有伪文件共同构成填充数据库PDB，在生成填充数据库的同时也生成相应索引。具体是：在生成伪文件的过程中，为了对所生成的符合条件的伪文件进行表示，本发明采用一个m维的位向量，m是关键字空间的大小，若伪文件v中包含某一关键字，则在m维位向量中将与该关键字对应的位置设置为1，表明该关键字已被填充(或表明该关键字已包含在此伪文件中)；否则在m维位向量中将与该关键字对应的位置设置为0，表明对应的关键字未被填充(或表明伪文件中不包含该对应关键字)。

生成索引的依据如下：根据位图索引的表示方法与运算规则：假设数据库中包含n个文件，对于每个关键词，对应一个n位长的比特串，如果关键字存在于文件f_i，则将比特串的第i位设为1，否则设置为0。如果添加或者删除文件/关键字对，需要生成对应比特串并将其加到初始比特串上。本发明采用的是一个n位的位图索引来表示真实文件与填充的伪文件，其中前q位来表示真实文件存在与否，如果文件f_i存在，那么第i位就表示为1，不存在表示为0。对于填充的文件，若填充了文件v_i，则索引的第q+i位就设置为1，未填充设置为0。此步骤对于伪文件索引的建立，可依据上述m维位向量进行设置。

按照索引生成的依据，对于如图2中(a)所示的数据库DB，系统可以支持最大文件数为10，真实数据库最大容量为6，填充数据库最大容量为4。此时的索引代表初始真实数据库分别插入(w₁,f₁)、(w₁,f₂)、(w₂,,f₃)和(w₃,f₂)，生成填充数据库后的索引如图2中(b)所示，此时填充了(w₂,v₁)和(w₃,v₂)。

步骤二：根据更新操作动态修改填充数据库。

如果对真实数据库中关键字w进行了添加操作，若添加后该关键字对应的文件数量最多，则根据此数量对其他关键字进行填充；否则需要对填充数据库中关键字w对应的填充文件PDB(v_w)(即填充数据库中所有包含关键字w的文件)尝试删除关键字w的操作，即将伪文件v_i(v_i∈PDB(v_w))中对应关键字w位置的1改为0，更改后对伪文件v_i进行离群值检测，如果LOF(v_i)＜1，则进行修改(表示前述的尝试删除成功)，同时修改索引；如果不符合条件(即如果LOF(v_i)≥1)，则回滚到修改前的状态，继续尝试修改下一个伪文件v_i(v_i∈PDB(v_w))并循环上述步骤。比如若要插入(w₂,f₄)，根据位图索引的添加规则，则需要加上位串(0010000000)₂，插入(w₂,f₄)后关键字w₂对应的文件数量不是最多，此时需要对填充数据库中关键字w₂对应的填充文件进行尝试删除关键字w₂的操作，检索填充数据库关于关键字w₂所填充的伪文件

检索后只有伪文件v₁，删除v₁，需要减去位串(0000000001)₂，按照位图索引的删除规则，相当于加上位串(1111111111)₂，得到最后的关键字w₂的新索引(0011000000)₂，如图2中(c)所示。

如果对数据库中关键字w进行了删除操作，则需要对填充数据库的文件进行更改，尝试继续对关键字w进行填充。首先找到填充数据库中未对关键字w进行填充的伪文件v_i，尝试逐一修改，即对应关键字w位置为0的文件，尝试将其改为1。尝试修改之后进行离群值检测，若LOF(v_i)＜1，则表明尝试性修改成功，即执行修改伪文件，同时修改索引。否则回滚到修改之前的状态，对下一个文件进行修改并循环上所述步骤。举例来说，若要删除(w₁,f₂)，对于关键字w₁的索引需要减去位串(0000100000)₂，按照位图索引的删除规则，相当于加上位串(1111100000)₂，检索填充数据库所有未填充关键字w₁的伪文件，即对应关键字w₁位置数值为0的文件，并尝试逐一修改伪文件进行填充，即将相应关键字w₁位置的0改为1，更改后若对v_i进行离群值检测，得到LOF(v_i)＜1，则进行修改，否则尝试修改下一个伪文件。本实例中对关键字w₁添加了伪文件v₃，需要加上位串(0000000100)₂，得到最后的关键字w₁新索引(0000010100)₂，如图2(d)。

本说明书未详细描述的内容属于本专业技术人员公知的现有技术。

以上结合附图和技术方案对本发明的具体实施方式作了说明，上述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此，本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (5)

1.一种基于离群值检测技术和位图索引的动态数据库填充方法，其特征是，包括如下步骤：

a、生成填充数据库；

对数据库中关键字按关键字频率进行聚类；每个簇中每一关键字按照频率最大的关键字填充至相同的数量，具体是：根据每个关键字需要填充伪文件的数量随机生成伪文件进行填充，直到所有关键字填充至最大填充计数为止；由填充的伪文件生成填充数据库，并生成相应索引；

b、根据更新操作动态调整填充数据库；

更新操作包括对关键字的添加操作和对关键字的删除操作；

若更新操作为对关键字的添加操作，则首先判断添加后的关键字频率是否最大，如果是，则根据此关键字频率对其他关键字进行填充；否则对填充数据库中此关键字对应的填充伪文件进行删除；

若更新操作为对关键字的删除操作，则对填充数据库中未填充此关键字的伪文件进行填充；

对关键字进行填充或将关键字对应的伪文件进行删除，均应首先进行尝试性更改伪文件，之后对伪文件进行离群值检测，如果伪文件没有被识别为离群值，则更改相应伪文件并更新填充数据库以及对应索引；如果伪文件被识别为离群值，则回滚到尝试性更改前的状态，并选择下一个伪文件进行尝试性更改，再对伪文件进行离群值检测，如此循环；

c、判断每个关键字的频率是否均相同，如果是，则更新操作完成；否则循环执行步骤b。

2.根据权利要求1所述的基于离群值检测技术和位图索引的动态数据库填充方法，其特征是，步骤a中，生成索引的依据如下：

根据位图索引的表示方法与运算规则：设数据库中包含n个文件，对于每个关键词，对应一个n位长的比特串，如果关键字存在于文件f_i中，则将比特串的第i位设为1，否则设置为0；对于添加或者删除文件/关键字对，需要生成对应比特串并将其加到初始比特串上。

3.根据权利要求1所述的基于离群值检测技术和位图索引的动态数据库填充方法，其特征是，步骤b中，离群值检测的依据如下：

对于一个伪文件v，它的k近邻N(v)首先通过测量每个真实文件点的海明距离d来导出：

N(v)←{r∈D\v|d(v,r)≤k-dist(v)} (1)

其中r为真实文件，D为真实文件的集合，k-dist(v)是伪文件v和它的k近邻之间的距离，之后，可达距离计算如下：

reach-dist(v,r)＝max{k-dist(r),d(v,r)} (2)

然后，伪文件v的局部可达性密度计算如下：

最后，计算离群因子LOF(v)：

其中，lrd(r)为真实文件r的局部可达性密度；

经过计算LOF值来进行离群值检测，如果LOF(v)＜1，则表明此伪文件没有被识别为离群值，否则该伪文件被识别为离群值。

4.根据权利要求1所述的基于离群值检测技术和位图索引的动态数据库填充方法，其特征是，步骤a中，生成伪文件的方法如下：将需填充的关键字以及关键字对应的需填充的伪文件的数量一并放入集合G中；从集合G中需填充的关键字中随机选取τ位关键字进行填充以生成伪文件v，其中τ是从范围[l,u]中随机选取的，l和u分别是数据库中最小文件大小和最大文件大小；对所生成的伪文件v进行离群值检测，如果伪文件v没有被识别为离群值，则将所生成的伪文件v加入填充数据库，相应地，伪文件v中包含有某一关键字，集合G中与该关键字对应的需填充的伪文件的数量减1；如果伪文件v被识别为离群值，则重新从集合G中需填充的关键字中随机选取τ位关键字进行填充以生成伪文件v，如此循环，直至集合G中所有关键字对应的需填充的伪文件的数量为0。

5.根据权利要求4所述的基于离群值检测技术和位图索引的动态数据库填充方法，其特征是，在生成伪文件的过程中，为了对所生成的符合条件的伪文件进行表示，采用一个m维的位向量，m是关键字空间的大小，若伪文件v中包含某一关键字，则在m维位向量中将与该关键字对应的位置设置为1；否则设置为0。

Images