CN109597829B

CN109597829B - 一种实现可搜索加密关系型数据库缓存的中间件方法

Info

Publication number: CN109597829B
Application number: CN201811385107.7A
Authority: CN
Inventors: 杨庚; 申东凡; 闵兆娥; 刘国秀
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2018-11-20
Filing date: 2018-11-20
Publication date: 2022-11-01
Anticipated expiration: 2038-11-20
Also published as: CN109597829A

Abstract

本发明公开了一种实现可搜索加密关系型数据库缓存的中间件方法，具体包括以下步骤：步骤一、建立明文数据库与密文数据库的映射：中间件连接到明文数据库，将其整体转化为可搜索的密文数据库；并对新存入数据的增删改查操作使用统一的可搜索加密算法，用于实现新旧数据库的融合；步骤二、利用NOSQL数据库建立用户查询缓存：对中间件进行SQL分析和路由，缓存命中和错过，计算列访问频率，缓存监听；步骤三、对用户的每次查询操作，判断查询请求是否命中缓存，若命中，从内存数据库中返回结果，否则，连接密文数据库，返回查询结果。本发明在保证安全性的同时，提高可搜索密文数据库的查询速度，缓解并发问题。

Description

一种实现可搜索加密关系型数据库缓存的中间件方法

技术领域

本发明涉及实现可搜索加密关系型数据库缓存的中间件方法，属于信息安全技术领域。

背景技术

云计算环境中，数据的安全问题一直备受关注，对数据库加密成为一种可靠的方法，针对加密后查询困难的问题，提出了可搜索加密方案。同时使用部署在客户端和服务器之间的中间件来实现对数据库的加密可以使得加密更加灵活，便于调整。在过去的几十年里，关系系统一直是数据存储和操纵的主要形式，因为关系数据库支持事务处理保持数据的一致性，可以支持Join等复杂查询。面对海量数据，传统关系数据库表现出大量同时查询的并发问题、扩展不灵活，查询检索和读写速度慢等问题。

发明内容

本发明提供一种实现可搜索加密关系型数据库缓存的中间件方法，该方法解决了大数据时代，信息化数据呈爆炸式增长的环境下，密文数据库查询时高并发性以及读写速度慢的问题，在保证安全性的同时，提高可搜索密文数据库的查询速度，缓解并发问题。

本发明为实现上述发明目的，采用如下技术方案：

本发明的实现可搜索加密关系型数据库缓存的中间件方法，具体包括以下步骤：

步骤一、建立明文数据库与密文数据库的映射：

中间件连接到明文数据库，采用可搜索加密算法(所述可搜索加密算法，该算法能够让用户直接在密文上执行增删改查操作，而不用先解密数据。可搜索加密算法包括三种加密模型：等值加密模型、保序加密模型和同态加密模型)将其整体转化为可搜索的密文数据库；对新存入数据的增删改查操作也使用所述可搜索加密算法，用于实现新旧数据库的融合；

步骤二、利用NoSQL数据库建立用户查询缓存：

对中间件进行SQL分析和路由，缓存命中和错过，计算列访问频率，缓存监听；

步骤三、对用户的每次查询操作，判断查询请求是否命中缓存，若命中，从内存数据库中返回结果，否则，连接密文数据库，返回查询结果。

步骤一中，对新存入数据的增删改查操作使用统一的可搜索加密算法，具体方法如下：

1)首先获取明文数据库的所有表名，由表名得到各个列的列名，并嵌套查询得到具体数据，将数据保存；

2)创建满足密文结构的密文表：可搜索加密算法用到确定加密、保序加密、同态加密三种加密模型，对于数值型数据，扩展为三列，字符型数据扩展为一列；

3)读取保存的明文数据，调用可搜索加密算法，循环批量加密插入对应的密文表；

4)删除原来明文数据，从而实现新旧数据库的融合，可搜索密文数据库对用户来说透明。

步骤二中，所述中间件进行SQL分析和路由具体方法如下：

用户输入明文的SQL请求，中间件分析SQL语句，首先判断是否为读操作，若不是，则交给sql语句改写模块，改写为密文可识别的sql语句；若sql语句是查询操作，判断所查询的结果是否在缓存中，若命中缓存，则从内存数据库直接返回数据，否则，进行SQL语句改写，转化为可直接在密文上执行操作的SQL，并通过JDBC连接数据库，执行查询后返回密文结果，并由中间件解密后传给用户。

步骤二中，所述缓存命中和错过具体方法如下：中间件分析用户请求后，做出重定向到缓存或关系数据库的初步决策；如果请求列命中缓存，则结果从缓存中返回；缓存在NoSQL中的数据是利用select语句从关系数据库获取的，同样的查询结果生成相同的结果集，用此性质来唯一确定结果集标识符，用MD5函数把sql语句转化为唯一标识符；对于SQL格式的请求，首先计算该语句的MD5，据此得到结果集标识符，再利用该标识符在内存数据库中查找结果集；若找到，返回查询结果，否则，该语句将由sql语句改写模块改写成可在密文上直接执行的sql语句，从可搜索密文关系数据库返回结果。

步骤二中，所述列访问频率具体计算方法如下：用户请求查询操作时，如果请求列不在缓存中，则此列的结果将从关系数据库获取；此时，列访问频率计数加上命中校正因子，表示为f＝fc+kc，kc为命中校正因子，经过的时间为t,缓存未命中的最后一次为t_l，当前列访问频率记为f,最后一列访问频率记为f_l,比较当前列访问频率与最后一个平均访问频率,如果

将把密文数据库中此列的数据转换为内存缓存。

步骤二中，所述缓存监听具体方法如下：每隔一段时间计算一次所述列访问频率；如果当前列访问频率小于上一次列访问频率，则所述列访问频率计数要减去命中校正因子，表示为：fc＝fc-kc，kc为命中校正因子；如果当前列访问频率减去上一次列访问频率小于负阈值，该列数据将从缓存中删除；若上一次列访问频率为100次/秒，缓存中name列的当前列访问频率为80次/秒，负阈值为-10，当前列访问频率小于上一次列访问频率，则fc＝fc-kc；当前列访问频率减去上一次列访问频率为-20，小于负阈值，所以将name列从缓存中删除。

步骤三具体方法如下：针对密文数据库的查询，用户输入查询语句，要先经过SQL语句改写模块进行SQL语句重写，转化为可直接在密文上执行操作SQL，然后通过JDBC连接数据库执行操作；经过基于缓存的中间件系统，用NOSQL作密文数据库的缓存，存放变更小、访问频率高的数据；用户执行查询操作，先进行SQL分析路由，判断从内存数据库或密文数据库返回结果，若查询命中缓存，则直接返回查询结果，不必连接密文数据库，且内存数据库能自动删除缓存数据，保持高效命中率，实现用户快速查询响应。

本发明实现了云计算环境中密文数据的安全和快速查询。该中间件系统首先建立已有明文数据库与密文数据库的映射，利用非关系数据库建立用户查询缓存。对用户的每次查询操作，该系统分析查询请求是否命中缓存，若命中，从内存数据库中返回结果，否则，连接密文数据库，返回查询结果。本发明主要包括了已有明文数据库与可搜索密文数据库的映射、数据库查询缓存的建立、以及用户快速查询响应等三个部分，在处理大数据量时能有效地实现用户对密文数据库的快速查询。在云计算和大数据环境下，将非关系数据库与传统关系数据库结合，能有效解决上述问题，在保证数据安全的同时，提高响应速度，突破性能瓶颈。

附图说明

图1为NOSQL做可搜索加密数据库缓存的中间件系统图；

图2为NOSQL做可搜索加密数据库缓存执行操作的流程图；

图3为明文数据表和加密后的密文数据图。

具体实施方式

下面结合附图对本发明的技术方案的实施作进一步的详细描述：

NOSQL做可搜索加密数据库缓存的中间件系统的体系结构如图1所示，本发明针对可搜索加密数据库中间件查询速度慢，海量数据、多用户情况下高并发问题，提出一种用NOSQL做可搜索加密数据库缓存的方法。该方法通过把热点数据存入内存数据库，执行查询操作时先从缓存中查找，避免每次连接释放传统关系数据库，从而提高查询速度，减少资源占用和缓解高并发问题。

如图2所示，该方法包括以下步骤：

步骤一、建立明文数据库与密文数据库的映射

中间件连接到一个已经存有数据的明文数据库，将其整体转化为可搜索的密文数据库，并且保证对新存入数据的增删改查操作也使用统一的加密算法，实现新旧数据库的融合。

假设原来有明文表Student，字段属性为id,name,location,里面存有3条数据，如图表1。经过中间件整体加密后，变为密文表SsdbStudent，表结构、字段属性都变化，如图表2所示。之后对数据库的增删改查操作都在密文表上进行。

表1

Student

表2

SSdbStudent

步骤二、建立数据库查询缓存

非关系数据库作密文数据库的缓存包括中间件进行SQL分析和路由、判断缓存命中和错过、列访问频率设置、缓存监听四个步骤

1)中间件进行SQL分析和路由

密文数据库对用户透明，用户输入明文的SQL请求，中间件分析SQL语句，首先判断是否为读操作，若不是，则交给sql语句改写模块，改写为密文可识别的sql语句。如，用户输入的sql语句为：

INSERT INTO Student

(Stu_id,Stu_name,Stu_location)

values(1004,’Ross’,’Hainan’)

经过sql语句改写模块后，新的sql语句为：

INSERT INTO SSdbStudent

(Stu_id_DET,Stu_id_OPE,Stu_id_HOM,Stu_name_DET,Stu_location_DET)

values(密文,密文，密文，密文，密文)

直接在密文数据库上执行插入操作。

若sql语句是查询操作，判断所查询的结果是否在缓存中，若命中缓存，则从内存数据库直接返回数据，否则，进行SQL语句改写，转化为可直接在密文上执行操作的SQL，并通过JDBC连接数据库，执行查询后返回密文结果，并由中间件解密后传给用户

2)缓存命中和错过

中间件分析用户请求后，做出重定向到缓存或关系数据库的初步决策。如果请求列命中缓存，则结果从缓存中返回。缓存在NOSQL中的数据都是利用select等sql语句从关系数据库获取的，同样的查询结果生成相同的结果集，用此性质来唯一确定结果集标识符，用MD5函数把sql语句转化为唯一标识符。对于SQL格式的请求，首先计算该语句的MD5，据此得到结果集标识符，再利用该标识符在内存数据库中查找结果集。若找到，返回查询结果，否则，该语句将由sql语句改写模块改写成可在密文上直接执行的sql语句，从可搜索密文关系数据库返回结果。假设执行语句SELECT location FROM Student WHERE id>1000；

首先通过正则匹配，取出关键字’select’，判断出是查询操作，然后计算该语句的md5值，设为m，此时看缓存中有没有值为m的标识符，若有，在缓存中执行查询操作，返回结果集。否则，SQL语句改写模块将此句改写为select location_DET from Ssdbtudet whereid_ope>‘Edaf/-dfgk＝’,在可搜索密文数据库上执行该查询操作，返回结果。

3)列访问频率设置

如图3所示，用户请求查询操作时，如果请求列不在缓存中，则此列的结果将从关系数据库获取。此时，列访问频率计数加上命中校正因子，表示为f＝fc+kc。经过的时间为t,缓存未命中的最后一次记为t_l，当前列访问频率记为f,最后一列访问频率记为f_l,比较当前列访问频率与最后一个平均访问频率,如果

将把密文数据库中此列的数据转换为内存缓存。例如请求查询Student表的location列，如果缓存中只有name列，则location列的请求查询将连接JDBC从密文数据库中获取。然后判断该列的列访问频率，判断是否需要将该列数据转为内存缓存。

4)缓存监听:

缓存监听用来观察缓存的用法，它每隔一段时间计算一次步骤三所述的列访问频率。如果当前列访问频率小于上一次列访问频率，则步骤三所述列访问频率计数要减去命中校正因子，可以表示为：fc＝fc-kc，kc为命中校正因子。如果当前列访问频率减去上一次列访问频率小于负阈值，该列数据将从缓存中删除。若上一次列访问频率为100次/秒，缓存中name列的当前列访问频率为80次/秒，负阈值为-10，当前列访问频率小于上一次列访问频率，则fc＝fc-kc。当前列访问频率减去上一次列访问频率为-20，小于负阈值，所以将name列从缓存中删除。

步骤三、查询高速响应

针对密文数据库的查询，用户输入查询语句，要先经过SQL语句改写模块进行SQL语句重写，转化为可直接在密文上执行操作SQL，然后通过JDBC连接数据库执行操作。经过基于缓存的中间件系统，用NOSQL作密文数据库的缓存，存放变更小、访问频率高的数据。用户执行查询操作，先进行SQL分析路由，判断从内存数据库或密文数据库返回结果，若查询命中缓存，则直接返回查询结果，不必连接密文数据库，且内存数据库能自动删除缓存数据，保持高效命中率，实现用户快速查询响应。若用户输入查询name列的SQL语句，计算该语句的MD5值，经过SQL分析路由，判断得出查询命中缓存，可从内存数据库直接返回结果，不必连接密文数据库。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.一种实现可搜索加密关系型数据库缓存的中间件方法，其特征在于，具体包括以下步骤：

步骤一、建立明文数据库与密文数据库的映射：

中间件连接到明文数据库，采用可搜索加密算法将其整体转化为可搜索的密文数据库；对新存入数据的增删改查操作也使用所述可搜索加密算法，用于实现新旧数据库的融合；

步骤二、利用NoSQL数据库建立用户查询缓存：

步骤三、对用户的每次查询操作，判断查询请求是否命中缓存，若命中，从内存数据库中返回结果，否则，连接密文数据库，返回查询结果；

步骤二中，所述中间件进行SQL分析和路由具体方法如下：

用户输入明文的SQL请求，中间件分析SQL语句，首先判断是否为读操作，若不是，则交给sql语句改写模块，改写为密文可识别的sql语句；若sql语句是查询操作，判断所查询的结果是否在缓存中，若命中缓存，则从内存数据库直接返回数据，否则，进行SQL语句改写，转化为可直接在密文上执行操作的SQL，并通过JDBC连接数据库，执行查询后返回密文结果，并由中间件解密后传给用户；

步骤二中，所述缓存命中和错过具体方法如下：

中间件分析用户请求后，做出重定向到缓存或关系数据库的初步决策；如果请求列命中缓存，则结果从缓存中返回；缓存在NoSQL中的数据是利用select语句从关系数据库获取的，同样的查询结果生成相同的结果集，用此性质来唯一确定结果集标识符，用MD5函数把sql语句转化为唯一标识符；对于SQL格式的请求，首先计算该语句的MD5，据此得到结果集标识符，再利用该标识符在内存数据库中查找结果集；若找到，返回查询结果，否则，该语句将由sql语句改写模块改写成可在密文上直接执行的sql语句，从可搜索密文关系数据库返回结果；

步骤二中，所述列访问频率具体计算方法如下：

用户请求查询操作时，如果请求列不在缓存中，则此列的结果将从关系数据库获取；此时，列访问频率计数加上命中校正因子，表示为f＝fc+kc，kc为命中校正因子，经过的时间为t,缓存未命中的最后一次为t_l，当前列访问频率记为f,最后一列访问频率记为f_l,比较当前列访问频率与最后一个平均访问频率,如果

将把密文数据库中此列的数据转换为内存缓存；

步骤二中，所述缓存监听具体方法如下：

每隔一段时间计算一次所述列访问频率；如果当前列访问频率小于上一次列访问频率，则所述列访问频率计数要减去命中校正因子，表示为：fc＝fc-kc，kc为命中校正因子；如果当前列访问频率减去上一次列访问频率小于负阈值，该列数据将从缓存中删除；若上一次列访问频率为100次/秒，缓存中name列的当前列访问频率为80次/秒，负阈值为-10，当前列访问频率小于上一次列访问频率，则fc＝fc-kc；当前列访问频率减去上一次列访问频率为-20，小于负阈值，所以将name列从缓存中删除。

2.根据权利要求1所述的实现可搜索加密关系型数据库缓存的中间件方法，其特征在于，步骤一中，对新存入数据的增删改查操作使用统一的可搜索加密算法，具体方法如下：

3.根据权利要求1所述的实现可搜索加密关系型数据库缓存的中间件方法，其特征在于，步骤三具体方法如下：

针对密文数据库的查询，用户输入查询语句，要先经过SQL语句改写模块进行SQL语句重写，转化为可直接在密文上执行操作SQL，然后通过JDBC连接数据库执行操作；经过基于缓存的中间件系统，用NOSQL作密文数据库的缓存，存放变更小、访问频率高的数据；用户执行查询操作，先进行SQL分析路由，判断从内存数据库或密文数据库返回结果，若查询命中缓存，则直接返回查询结果，不必连接密文数据库，且内存数据库能自动删除缓存数据，保持高效命中率，实现用户快速查询响应。