CN110928980B - 一种面向移动云计算的密文数据存储与检索方法 - Google Patents
一种面向移动云计算的密文数据存储与检索方法 Download PDFInfo
- Publication number
- CN110928980B CN110928980B CN201911116955.2A CN201911116955A CN110928980B CN 110928980 B CN110928980 B CN 110928980B CN 201911116955 A CN201911116955 A CN 201911116955A CN 110928980 B CN110928980 B CN 110928980B
- Authority
- CN
- China
- Prior art keywords
- text
- idf
- encrypted
- keywords
- searching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013500 data storage Methods 0.000 title claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000010845 search algorithm Methods 0.000 claims description 9
- 230000002441 reversible effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/316—Indexing structures
- G06F16/322—Trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6209—Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2107—File encryption
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Storage Device Security (AREA)
- Mobile Radio Communication Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种面向移动云计算的密文数据存储与检索方法。数据拥有者对文本进行预处理,提取出关键字及关键字对应的词频‑逆向文件频率(TF‑IDF),并生成索引;在数据使用者在文本信息隐私不被泄露的情况下本地生成陷门;云服务器上使用了优化后的搜索算法,返回最相关联的前几个加密文件。本发明是一种更适合移动设备的加密下的文本搜索方案,能够高效的搜索出所需要的文本,在保证文本搜索准确的前提下,相对于一般的方法,能够有效减少信息在网络传输过程中的时间消耗,并使用了优化的搜索算法,有效地降低了在云服务器上消耗的搜索时间。本发明还支持多关键字的搜索。
Description
技术领域
本发明涉及密文数据存储与检索领域,更具体地,涉及一种面向移动云计算的密文数据存储与检索方法。
背景技术
目前,云计算越来越流行。企业和个人更倾向于将一些业务交予云服务器,让云服务器来管理这些业务,以降低开发和运营成本。很多数据提供者将他们的数据存储到云端中,其中,有很多数据是敏感信息,为了防止这些数据的泄露,往往需要将这些数据的文件进行加密后,再发往云服务端。然而,加密数据由于失去了其原有特性,加密数据的搜索成为了一个问题。而仅是将所有加密文件从云端返回给本地,本地在解密后进行搜索的话,将会造成极大的网络开销和存储负担。这些年来,针对加密数据的搜索,已由最初的单一关键词加密搜索发展到基于动态的多关键词排序搜索。其中,TF-IDF作为一种用于信息检索与数据挖掘的常用加权技术,是加密排序搜索的常用方法。通常来说,用户当需要搜索文件时,将关键字输入,并将关键字发送给数据的提供者,提供者通过加密算法对关键字进行加密,再将加密后的关键字(陷门)发送给用户,用户将这些陷门发送给云服务器,云服务端根据特定的搜索算法和用户发送的陷门对数据提供者之前提供给云服务端的搜索索引index进行搜索计算,并获得满意的加密文件,并将加密文件发送回已授权的数据用户端。用户收到加密文件后,使用提供者给的解密密钥对文件进行解密。
然而,这些过程,都是基于有线设备用户设计的,对于移动设备端的用户并没有进行足够的优化。对于使用移动设备的用户来说,由于其出于设备的性能限制和无线网络的特性限制,如果使用针对有线网络的加密搜索方案,会存在有多种问题。(1)延迟敏感:延迟敏感即是无线网络的网络延迟会比有线网络的高,若移动设备采用有线网络的加密搜索来说,过多的网络回路更是会使网络延迟的问题严重化。(2)低计算效率:由于移动设备出于节省电量和运存和移动设备使用的底层架构与有线设备不相同等原因(e.g.ARM与x86不相同),移动设备的运算能力比有线设备的运算能力相比更为不足,表现在时间上是相同的运算过程会导致更长的运算结果。(3)低传输速度:移动设备由于使用无线网络的原因,会受到移动通信网络的网络传输速度有限的影响,由于受网络通信基站的分布影响,或者受建筑物遮挡的影响,部分地区,城市的有些地区,仍常可遇到网络传输速度慢的情况。在适用于有线设备的加密搜索中,采用的是将关键字从用户发送给提供者,提供者再将陷门返回用户,在这个过程中,若他们的通信有通过无线网络进行的话,势必会由于网络的传输速度较低而导致更长的搜索时长。
发明内容
本发明为克服上述现有技术所述的移动设备端搜索时长的缺陷,提供一种面向移动云计算的密文数据存储与检索方法。采用了TF-IDF方法,可实现多关键字的搜索方案,实现了前k个相关联的文件的搜索。采用本地生成陷门的方法,有效减少了数据用户与数据拥有者之间的交互次数,减少了生成陷门的时间。并根据搜索索引的结构,优化了搜索算法,有效地减少了搜索时间。
为解决上述技术问题,本发明的技术方案如下:
一种面向移动云计算的密文数据存储与检索方法,包括以下步骤:
S1:提取文本中关键信息生成索引并加密;
S2:将加密后的文本和加密后的索引I发送给云服务器,将加密后的IDF表发送给数据用户;
S4:用户将生成的陷门发送到云服务器;
S5:云服务器使用优化后的搜索算法对搜索索引I进行搜索,返回前k个最与关键字关联的文件;
S6:数据用户在获得解密密钥的前提下,对返回的文件进行解密。
在其中一个实施例中,步骤S1中,提取文本中关键信息生成索引并加密具体包括以下步骤:
S1.1对文本进行预处理,提取全文本关键字w,关键字的数量记为m,得出每个文本中关键字的词频TF,并计算出全部文本的逆向文件频率IDF,其中TF、IDF的维度等于关键字的数量m;
S1.3对IDF进行加密,并生成加密IDF表,加密过程公式如下:
S1.4以每个文本作为叶子结点,根据每个文本的TF值,创建二叉树结构的搜索索引I,并对结点的TF值进行加密生成Iu,u为二叉树的结点编号,公式如下:
在其中一个实施例中,步骤S2中,文本的加密使用公钥加密或对称加密。
在其中一个实施例中,步骤S2中,加密后的IDF表在数据用户授权的时候发送给数据用户。
在其中一个实施例中,步骤S3具体包括:
数据用户生成随机向量和随机数a并且a大于1,随机向量/>为在μ=0,σ=0.5的正态分布下的随机值集合,输入需要搜索的关键字集wq,本地查找IDF表,找到关键字集wq对应的/>生成向量为Q′,并生成陷门TD;其中,当wi∈w,1≤i≤m,有wi∈wq时,则Q′[i]为否则设置当前Q′[i]为0,需对Q′进一步加密,陷门TD的生成公式如下:/>
TD=M-1Q″
其中,Q″是对Q′加入噪声后并使用随机数a加密后的向量。
在其中一个实施例中,步骤S5具体包括:云服务器使用优化后的搜索算法对搜索索引I进行搜索,返回前k个最与关键字关联的文件;其中,TF与IDF的乘积值Score作为文本与数据用户键入的关键字集wq之间关联度的依据,Score越大,关键字集wq与该文本越关联,计算Score的公式如下:
与现有技术相比,本发明技术方案的有益效果是:本发明提供一种面向移动云计算的密文数据存储与检索方法。数据拥有者对文本进行预处理,提取出关键字及关键字对应的词频-逆向文件频率(TF-IDF),并生成索引;在数据使用者在文本信息隐私不被泄露的情况下本地生成陷门;云服务器上使用了优化后的搜索算法,返回最相关联的前几个加密文件。本发明是一种更适合移动设备的加密下的文本搜索方案,能够高效的搜索出所需要的文本,在保证文本搜索准确的前提下,相对于一般的方法,能够有效减少信息在网络传输过程中的时间消耗,并使用了优化的搜索算法,有效地降低了在云服务器上消耗的搜索时间。该发明还支持多关键字的搜索。
附图说明
图1为实施例1面向移动云计算的密文数据存储与检索方法的示意图。
图2为实施例1关键字集w和每个文本的TF的长度示意图。
图3为实施例1二叉树的示意图。
图4为实施例1红黑树结构的示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示,在密文搜索框架中包含了数据拥有者,数据使用者,云服务器三个角色,数据拥有者需要在生成索引之前,提取出每个文本的TF值及全部文本的IDF值,其中,若当全部文本的关键字集w的长度为m时,则如图2所示,每个文本的TF值即的长度为m。
同理,在数据拥有者生成TF的同时,会生成IDF值,数据拥有者构造成IDF表,并对IDF进行加密,IDF表的结构如图1所示。
图1中,数据拥有者会在步骤1中根据文本及对应的TF值生成搜索索引I。如图3所示,在二叉树中,将二叉树结点设为u,并且特定地,将代表了实际文本的叶子结点设为f,两两根据叶子结点的D(TF值),生成内部结点u的D,生成D的公式如下:
u.D[i]=max{u.pl→D[i],u.pr→D[i]},i=1,...,m.
该内部结点u的D的每个值都是其左结点u.pl和右结点u.pr对应位置的TF值的较大值,从叶节点生成内部结点,递归到根结点。
图1中所示,当云服务器收到陷门后,对搜索索引进行搜索。若数据用户希望返回k个文件,则设置用于比较Score大小的数据结构为红黑树RBTree,并使其结点大小为k(除叶子结点外),红黑树的结构如图4所示。如图3所示为搜索过程,我们将简单地在明文域上解释一下搜索的过程。在这个过程中,我们假设数据用户键入的关键字集对应的IDF值为[2,1,4,5],开始u12结点的Score为10.5大于u11的Score的5,因此向右结点下探,在第3步到第4步中分别向RBtree中插入f3和f4的Score分别为2.1和9.9。当到第5步时,发现f5的Score大于f3的Score,则在RBtree中删除Score为2.1的结点,再放入Score为5.9的结点。当进行到第6步时,u11的Score小于f5的Score,因此返回到根节点,结束搜索。因为当内部结点的Score值小于RBtree中最小的Score值,则说明该结点下的所有结点不会有大于该内部结点的Score值,也就不会大于RBtree中最小的Score值。若当返回使用这个方法,可以有效减少搜索的次数,降低时间复杂度。
以上对本技术方案进行了详细介绍。在数据用户生成陷门时,选择了使用加密IDF表来简化对陷门的生成步骤。而在搜索算法上,本文中使用了具体个例对搜索原理进行了阐述,通过吸收已有的研究与技术,使用TF-IDF的技术,并通过构建二叉树数据结构的index树,改进了搜索算法,达到了比一般的搜索算法花费更少时间的效果。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (4)
1.一种面向移动云计算的密文数据存储与检索方法,其特征在于,包括以下步骤:
S1:提取文本中关键信息生成索引并加密;步骤S1中,提取文本中关键信息生成索引并加密具体包括以下步骤:
S1.1对文本进行预处理,提取全文本关键字w,关键字的数量记为m,得出每个文本中关键字的词频TF,并计算出全部文本的逆向文件频率IDF,其中TF、IDF的维度等于关键字的数量m;
S1.3对IDF进行加密,并生成加密IDF表,加密过程公式如下:
S1.4以每个文本作为叶子结点,根据每个文本的TF值,创建二叉树结构的搜索索引I,并对结点的TF值进行加密生成Iu,u为二叉树的结点编号,公式如下:
其中,Du是结点u对应的TF,D′u表示加密后的Du;
S2:将加密后的文本和加密后的索引I发送给云服务器,将加密后的IDF表发送给数据用户;
数据用户生成随机向量和随机数a并且a大于1,随机向量/>为在μ=0,σ=0.5的正态分布下的随机值集合,输入需要搜索的关键字集wq,本地查找IDF表,找到关键字集wq对应的生成向量为Q′,并生成陷门TD;其中,当wi∈w,1≤i≤m,有wi∈wq时,则Q′[i]为否则设置当前Q′[i]为0,需对Q′进一步加密,陷门TD的生成公式如下:
TD=M-1Q″
其中,Q″是对Q′加入噪声后并使用随机数a加密后的向量;
S4:用户将生成的陷门发送到云服务器;
S5:云服务器使用优化后的搜索算法对搜索索引I进行搜索,返回前k个最与关键字关联的文件;
S6:数据用户在获得解密密钥的前提下,对返回的文件进行解密。
2.根据权利要求1所述的面向移动云计算的密文数据存储与检索方法,其特征在于,步骤S2中,文本的加密使用公钥加密或对称加密。
3.根据权利要求1所述的面向移动云计算的密文数据存储与检索方法,其特征在于,步骤S2中,加密后的IDF表在数据用户授权的时候发送给数据用户。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911116955.2A CN110928980B (zh) | 2019-11-15 | 2019-11-15 | 一种面向移动云计算的密文数据存储与检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911116955.2A CN110928980B (zh) | 2019-11-15 | 2019-11-15 | 一种面向移动云计算的密文数据存储与检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110928980A CN110928980A (zh) | 2020-03-27 |
CN110928980B true CN110928980B (zh) | 2023-05-30 |
Family
ID=69853053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911116955.2A Active CN110928980B (zh) | 2019-11-15 | 2019-11-15 | 一种面向移动云计算的密文数据存储与检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110928980B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931484B (zh) * | 2020-07-31 | 2022-02-25 | 贵州多彩宝互联网服务有限公司 | 一种基于大数据的数据传输方法 |
CN112233007B (zh) * | 2020-10-15 | 2024-03-29 | 中山大学 | 一种云计算环境下的加密图像水印嵌入方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103607405A (zh) * | 2013-11-27 | 2014-02-26 | 东北大学 | 一种面向云存储的密文搜索认证方法 |
CN107704768A (zh) * | 2017-09-14 | 2018-02-16 | 上海海事大学 | 一种密文的多关键字分级安全检索方法 |
CN108388807A (zh) * | 2018-02-28 | 2018-08-10 | 华南理工大学 | 一种支持偏好搜索和逻辑搜索的高效可验证的多关键字排序可搜索加密方法 |
CN108390760A (zh) * | 2018-01-12 | 2018-08-10 | 电子科技大学 | 一种云数据传输中端到端的公钥关键字可搜索加密方法 |
-
2019
- 2019-11-15 CN CN201911116955.2A patent/CN110928980B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103607405A (zh) * | 2013-11-27 | 2014-02-26 | 东北大学 | 一种面向云存储的密文搜索认证方法 |
CN107704768A (zh) * | 2017-09-14 | 2018-02-16 | 上海海事大学 | 一种密文的多关键字分级安全检索方法 |
CN108390760A (zh) * | 2018-01-12 | 2018-08-10 | 电子科技大学 | 一种云数据传输中端到端的公钥关键字可搜索加密方法 |
CN108388807A (zh) * | 2018-02-28 | 2018-08-10 | 华南理工大学 | 一种支持偏好搜索和逻辑搜索的高效可验证的多关键字排序可搜索加密方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110928980A (zh) | 2020-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10990617B2 (en) | Method and system for searching encrypted data | |
US11341128B2 (en) | Poly-logarithmic range queries on encrypted data | |
US9740879B2 (en) | Searchable encryption with secure and efficient updates | |
CN110326253A (zh) | 用于对加密数据进行模糊关键字搜索的方法和系统 | |
CN104765848A (zh) | 混合云存储中支持结果高效排序的对称可搜索加密方法 | |
CN111026788B (zh) | 一种混合云中基于同态加密的多关键词密文排序检索方法 | |
CN109361644B (zh) | 一种支持快速搜索和解密的模糊属性基加密方法 | |
CN105320896A (zh) | 一种云存储加密以及其密文检索方法与系统 | |
CN109992995B (zh) | 一种支持位置保护和查询隐私的可搜索加密方法 | |
CN103955537A (zh) | 一种语义模糊可搜索加密云盘设计方法及系统 | |
CN111797409B (zh) | 一种大数据中文文本无载体信息隐藏方法 | |
CN110134718B (zh) | 一种基于属性加密的支持多关键字的模糊搜索方法 | |
CN109493017A (zh) | 基于区块链的可信外包存储方法 | |
CN104821876B (zh) | 一种支持物理删除的动态可搜索对称加密方法 | |
CN112332979B (zh) | 云计算环境中的密文搜索方法及系统、设备 | |
CN110928980B (zh) | 一种面向移动云计算的密文数据存储与检索方法 | |
CN104967693A (zh) | 面向云存储的基于全同态密码技术的文档相似度计算方法 | |
CN107704768A (zh) | 一种密文的多关键字分级安全检索方法 | |
CN103970889A (zh) | 一种中英文关键词模糊搜索的安全云盘 | |
Khan et al. | Secure ranked fuzzy multi-keyword search over outsourced encrypted cloud data | |
CN116109372B (zh) | 基于多层次区块链的冷链物流产品联邦推荐方法及装置 | |
Jiang et al. | An Efficient Symmetric Searchable Encryption Scheme for Cloud Storage. | |
CN113642038A (zh) | 一种可搜索加密方法、装置、设备及存储介质 | |
Zhao et al. | Secure and efficient product information retrieval in cloud computing | |
CN109165226B (zh) | 一种面向密文大型数据集的可搜索加密方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |