CN112948903A - 一种面向大数据存储的密态搜索技术架构及方法 - Google Patents

一种面向大数据存储的密态搜索技术架构及方法 Download PDF

Info

Publication number
CN112948903A
CN112948903A CN202110311508.3A CN202110311508A CN112948903A CN 112948903 A CN112948903 A CN 112948903A CN 202110311508 A CN202110311508 A CN 202110311508A CN 112948903 A CN112948903 A CN 112948903A
Authority
CN
China
Prior art keywords
file
secret
secret state
user
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110311508.3A
Other languages
English (en)
Inventor
陈宇翔
郝尧
吴开均
易仲强
过小宇
彭海洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 30 Research Institute
Original Assignee
CETC 30 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 30 Research Institute filed Critical CETC 30 Research Institute
Priority to CN202110311508.3A priority Critical patent/CN112948903A/zh
Publication of CN112948903A publication Critical patent/CN112948903A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6209—Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself

Abstract

本发明公开了一种面向大数据存储的密态搜索技术架构及方法，包括两两之间网络连通的密态搜索客户端、密态文件存储系统和密钥管理系统；本发明系统支持密文数据存储并支持对存储的密文数据直接查询，查询过程中，存储端除了执行用户的查询请求，无法知晓用户的查询的内容是什么，也无法知晓用户的文件数据。加密发送搜索请求保证服务端无法对用户的搜索行为进行关联分析。用户通过私钥完全控制自己数据的主动权，存储端无法获知、窃取或泄露用户明文数据。以上兼顾数据的安全保护和可用性。密态搜索系统和大数据平台松耦合，只需要大数据存储平台提供文件数据读写接口即可快速实现密态搜索技术架构及方法。

Description

一种面向大数据存储的密态搜索技术架构及方法
技术领域
本发明涉及大数据搜索技术领域，具体涉及一种面向大数据存储的密态搜索技术架构及方法。
背景技术
当前，大数据存储平台以明文存储用户数据，带来了数据泄露风险，用户难以保护自己的存储数据不被窃取。
与此同时，加密数据存储面临着以下问题：如果将加密数据下载到用户端再解密搜索，会导致搜索效率低下。将加密数据在服务端解密搜索则会降低安全性。
目前应用的分布式文件系统为用户提供存储服务，通常用户直接将明文数据上传存储，存储服务提供方在为用户提供存储、检索服务时，用户难以掌控自己存储的数据是否被泄露、窃取。文件存储服务提供商由于自身作恶或者遭到恶意攻击，会对用户的文件检索行为进行监听分析，通过用户检索的关键字对用户文件内容进行关联性分析，进而对用户文件内容进行重点破解窃取。与此同时，用户以明文数据存储在第三方机构，丧失了控制数据的主动权，无法知悉自己的数据是否被窃取、泄露。
大数据存储平台明文存储无法保证数据机密性，数据拥有者失去控制权，增加了数据泄露风险。大数据平台使用的简单加密存储(如透明加密等)使数据可用性变差，用户无法委托服务器对密文进行安全操作。
发明内容
针对现有技术中的上述不足，本发明提供的一种面向大数据存储的密态搜索架构及方法解决了大数据存储平台的数据安全及高效使用需求得不到满足的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种面向大数据存储的密态搜索技术架构，包括两两之间网络连通的密态搜索客户端、密态文件存储系统和密钥管理系统；
所述密态搜索客户端包括文件上传下载模块、文件分享模块、文件搜索模块、用户身份认证模块、密码算法模块和本地密钥管理模块；所述文件上传下载模块用于用户端对文件的加解密操作；所述文件分享模块用于向密管发起共享文件密钥和更新索引请求；所述文件搜索模块用于对用户输入的关键字计算搜索陷门后向搜索服务发起搜索请求；所述密码算法模块用于提供密文搜索算法、文件加密算法供调用；所述本地密钥管理模块用于保证文件密钥、搜索密钥的存储安全；
所述密态文件存储系统包括密态文件系统处理层、存储子系统、密态文件上传读取接口和密态索引处理接口，所述密态文件系统处理层通过密态索引处理接口与存储子系统网络连通，所述密态文件上传读取接口与存储子系统网络连通；所述密态文件存储系统用于实现密态索引列表的构建和密文数据的匹配搜索；
所述密钥管理系统用于负责整个系统中的密钥分配。
进一步地：所述密态文件系统处理层包括密态索引匹配模块和密态索引动态更新模块；所述密态索引匹配模块用于对客户端的加密查询请求进行处理后返回用户搜索结果，所述密态索引动态更新模块用于响应用户文件的更新请求，对密态索引列表进行更新。
进一步地：所述密钥管理系统包括根密钥管理模块、搜索密钥管理模块、文件密钥管理模块和密钥安全存储模块。
一种面向大数据存储的密态搜索方法，包括以下步骤：
S1、对用户进行注册和认证；
S2、通过注册和认证后的用户上传/更新密文，并对密文数据进行搜索。
进一步地：所述步骤S1中的具体步骤为：
S11、用户按照要求输入数据和验证身份，通过密态搜索客户端后台对数据进行处理和初始化；
S12、密态搜索客户端后台向密钥管理系统发起注册申请；
S13、密钥管理系统验证用户信息并完成注册；
S14、密钥管理系统向密态搜索客户端返回成功信息并签发相关密钥；
S15、用户输入认证信息，密态搜索客户端后台发送用户ID获取预存在密钥管理系统的登录密文信息；
S16、密钥管理系统返回用户登陆密文信息；
S17、密态搜索客户端对接收的登陆密文信息验证签名并解密；
S18、密态搜索客户端向密钥管理系统发起认证请求；
S19、密钥管理系统验证认证请求及相关属性，分发访问token；
S110、密钥管理系统输出密态搜索客户端认证结果和登陆令牌，认证通过。
进一步地：所述步骤S2的具体步骤为：
S21、用户在密态搜索客户端选择上传文件和设置属性，密态搜索客户端后台使用相关密钥对明文进行处理，生成密文索引和加密文件；
S22、密态搜索客户端后台将密文索引和加密文件上传到密态文件存储系统；
S23、密态文件存储系统接收密文数据，更新和维护密文索引；
S24、密态文件存储系统返回密态搜索客户端密文上传更新结果；
S25、在密态搜索阶段，用户在密态搜索客户端输入关键字，密态搜索客户端生成密文陷门；
S26、密态搜索客户端向密态文件存储系统发起检索请求；
S27、密态文件存储系统使用密文陷门和密文索引检索获取文件信息列表；
S28、输出检索结果。
本发明的有益效果为：本发明系统支持密文数据存储并支持对存储的密文数据直接查询，查询过程中，存储端除了执行用户的查询请求，无法知晓用户的查询的内容是什么，也无法知晓用户的文件数据。加密发送搜索请求保证服务端无法对用户的搜索行为进行关联分析。用户通过私钥完全控制自己数据的主动权，存储端无法获知、窃取或泄露用户明文数据。以上兼顾数据的安全保护和可用性。密态搜索系统和大数据平台松耦合，只需要大数据存储平台提供文件数据读写接口即可快速实现密态搜索技术架构及方法。
附图说明
图1为本发明架构图；
图2为本发明中步骤S1的流程图；
图3为本发明中步骤S2的流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种面向大数据存储的密态搜索技术架构，包括两两之间网络连通的密态搜索客户端、密态文件存储系统和密钥管理系统；
所述密态搜索客户端包括文件上传下载模块、文件分享模块、文件搜索模块、用户身份认证模块、密码算法模块和本地密钥管理模块；所述文件上传下载模块用于用户端对文件的加解密操作；所述文件分享模块用于向密管发起共享文件密钥和更新索引请求；所述文件搜索模块用于对用户输入的关键字计算搜索陷门后向搜索服务发起搜索请求；所述密码算法模块用于提供密文搜索算法、文件加密算法供调用；所述本地密钥管理模块用于保证文件密钥、搜索密钥的存储安全；
所述密态文件存储系统包括密态文件系统处理层、存储子系统、密态文件上传读取接口和密态索引处理接口，所述密态文件系统处理层通过模态索引处理接口与存储子系统网络连通，所述密态文件上传读取接口与存储子系统网络连通；所述密态文件存储系统用于实现密态索引列表的构建和密文数据的匹配搜索；密态索引是关键词密文到文件标识密文的映射，关键词和文件标识均为密文。
所述密态文件系统处理层包括密态索引匹配模块和密态索引动态更新模块；所述密态索引匹配模块用于对客户端的加密查询请求进行处理后返回用户搜索结果，所述密态索引动态更新模块用于响应用户文件的更新请求，对密态索引列表进行更新。
所述密钥管理系统用于负责整个系统中的密钥分配。所述密钥管理系统包括根密钥管理模块、搜索密钥管理模块、文件密钥管理模块和密钥安全存储模块。
一种面向大数据存储的密态搜索方法，包括以下步骤：
S1、对用户进行注册和认证；
如图2所示，具体步骤为：
S11、用户按照要求输入数据和验证身份，通过密态搜索客户端后台对数据进行处理和初始化；
S12、密态搜索客户端后台向密钥管理系统发起注册申请；
S13、密钥管理系统验证用户信息并完成注册；
S14、密钥管理系统向密态搜索客户端返回成功信息并签发相关密钥；
S15、用户输入认证信息，密态搜索客户端后台发送用户ID获取预存在密钥管理系统的登录密文信息；
S16、密钥管理系统返回用户登陆密文信息；
S17、密态搜索客户端对接收的登陆密文信息验证签名并解密；
S18、密态搜索客户端向密钥管理系统发起认证请求；
S19、密钥管理系统验证认证请求及相关属性，分发访问token；
S110、密钥管理系统输出密态搜索客户端认证结果和登陆令牌，认证通过。
S2、通过注册和认证后的用户上传/更新密文，并对密文数据进行搜索。
如图3所示，具体步骤为：
S21、用户在密态搜索客户端选择上传文件和设置属性(文件关键字)，密态搜索客户端后台使用相关密钥对明文(包括关键字明文和数据明文)进行处理，生成密文索引和加密文件；
S22、密态搜索客户端后台将密文索引和加密文件上传到密态文件存储系统；
S23、密态文件存储系统接收密文数据，更新和维护密文索引；
S24、密态文件存储系统返回密态搜索客户端密文上传更新结果；
S25、在密态搜索阶段，用户在密态搜索客户端输入关键字，密态搜索客户端生成密文陷门；
S26、密态搜索客户端向密态文件存储系统发起检索请求；
S27、密态文件存储系统使用密文陷门和密文索引检索获取文件信息列表；
S28、输出检索结果。
本发明系统支持密文数据存储并支持对存储的密文数据直接查询，查询过程中，存储端除了执行用户的查询请求，无法知晓用户的查询的内容是什么，也无法知晓用户的文件数据。加密发送搜索请求保证服务端无法对用户的搜索行为进行关联分析。用户通过私钥完全控制自己数据的主动权，存储端无法获知、窃取或泄露用户明文数据。以上兼顾数据的安全保护和可用性。密态搜索系统和大数据平台松耦合，只需要大数据存储平台提供文件数据读写接口即可快速实现密态搜索技术架构及方法。

Claims (6)

1.一种面向大数据存储的密态搜索技术架构，其特征在于，包括两两之间网络连通的密态搜索客户端、密态文件存储系统和密钥管理系统；
所述密态搜索客户端包括文件上传下载模块、文件分享模块、文件搜索模块、用户身份认证模块、密码算法模块和本地密钥管理模块；所述文件上传下载模块用于用户端对文件的加解密操作；所述文件分享模块用于向密管发起共享文件密钥和更新索引请求；所述文件搜索模块用于对用户输入的关键字计算搜索陷门后向搜索服务发起搜索请求；所述密码算法模块用于提供密文搜索算法、文件加密算法供调用；所述本地密钥管理模块用于保证文件密钥、搜索密钥的存储安全；
所述密态文件存储系统包括密态文件系统处理层、存储子系统、密态文件上传读取接口和密态索引处理接口，所述密态文件系统处理层通过模态索引处理接口与存储子系统网络连通，所述密态文件上传读取接口与存储子系统网络连通；所述密态文件存储系统用于实现密态索引列表的构建和密文数据的匹配搜索；
所述密钥管理系统用于负责整个系统中的密钥分配。
2.根据权利要求1所述的面向大数据存储的密态搜索技术架构，其特征在于，所述密态文件系统处理层包括密态索引匹配模块和密态索引动态更新模块；所述密态索引匹配模块用于对客户端的加密查询请求进行处理后返回用户搜索结果，所述密态索引动态更新模块用于响应用户文件的更新请求，对密态索引列表进行更新。
3.根据权利要求1所述的面向大数据存储的密态搜索技术架构，其特征在于，所述密钥管理系统包括根密钥管理模块、搜索密钥管理模块、文件密钥管理模块和密钥安全存储模块。
4.一种面向大数据存储的密态搜索方法，其特征在于，包括以下步骤：
S1、对用户进行注册和认证；
S2、通过注册和认证后的用户上传/更新密文，并对密文数据进行搜索。
5.根据权利要求1所述的面向大数据存储的密态搜索方法，其特征在于，所述步骤S1中的具体步骤为：
S11、用户按照要求输入数据和验证身份，通过密态搜索客户端后台对数据进行处理和初始化；
S12、密态搜索客户端后台向密钥管理系统发起注册申请；
S13、密钥管理系统验证用户信息并完成注册；
S14、密钥管理系统向密态搜索客户端返回成功信息并签发相关密钥；
S15、用户输入认证信息，密态搜索客户端后台发送用户ID获取预存在密钥管理系统的登录密文信息；
S16、密钥管理系统返回用户登陆密文信息；
S17、密态搜索客户端对接收的登陆密文信息验证签名并解密；
S18、密态搜索客户端向密钥管理系统发起认证请求；
S19、密钥管理系统验证认证请求及相关属性，分发访问token；
S110、密钥管理系统输出密态搜索客户端认证结果和登陆令牌，认证通过。
6.根据权利要求1所述的面向大数据存储的密态搜索方法，其特征在于，所述步骤S2的具体步骤为：
S21、用户在密态搜索客户端选择上传文件和设置属性，密态搜索客户端后台使用相关密钥对明文进行处理，生成密文索引和加密文件；
S22、密态搜索客户端后台将密文索引和加密文件上传到密态文件存储系统；
S23、密态文件存储系统接收密文数据，更新和维护密文索引；
S24、密态文件存储系统返回密态搜索客户端密文上传更新结果；
S25、在密态搜索阶段，用户在密态搜索客户端输入关键字，密态搜索客户端生成密文陷门；
S26、密态搜索客户端向密态文件存储系统发起检索请求；
S27、密态文件存储系统使用密文陷门和密文索引检索获取文件信息列表；
S28、输出检索结果。
CN202110311508.3A 2021-03-24 2021-03-24 一种面向大数据存储的密态搜索技术架构及方法 Pending CN112948903A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110311508.3A CN112948903A (zh) 2021-03-24 2021-03-24 一种面向大数据存储的密态搜索技术架构及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110311508.3A CN112948903A (zh) 2021-03-24 2021-03-24 一种面向大数据存储的密态搜索技术架构及方法

Publications (1)

Publication Number Publication Date
CN112948903A true CN112948903A (zh) 2021-06-11

Family

ID=76227670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110311508.3A Pending CN112948903A (zh) 2021-03-24 2021-03-24 一种面向大数据存储的密态搜索技术架构及方法

Country Status (1)

Country Link
CN (1) CN112948903A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114595472A (zh) * 2022-03-09 2022-06-07 合肥工业大学 面向密态数据的重复、不经意和抗链接的查询方法与系统
CN115688141A (zh) * 2022-11-07 2023-02-03 东莞理工学院 一种个人信息拆分脱敏存储与重构方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731432A (zh) * 2014-01-11 2014-04-16 西安电子科技大学昆山创新研究院 一种支持多用户的可搜索加密系统及方法
CN106302449A (zh) * 2016-08-15 2017-01-04 中国科学院信息工程研究所 一种密文存储与密文检索开放云服务方法和系统
CN110334526A (zh) * 2019-05-30 2019-10-15 西安电子科技大学 一种支持验证的前向安全可搜索加密存储系统及方法
CN111460480A (zh) * 2020-03-31 2020-07-28 中国电子科技集团公司第三十研究所 一种密文搜索系统中安全的密文文件分享方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731432A (zh) * 2014-01-11 2014-04-16 西安电子科技大学昆山创新研究院 一种支持多用户的可搜索加密系统及方法
CN106302449A (zh) * 2016-08-15 2017-01-04 中国科学院信息工程研究所 一种密文存储与密文检索开放云服务方法和系统
CN110334526A (zh) * 2019-05-30 2019-10-15 西安电子科技大学 一种支持验证的前向安全可搜索加密存储系统及方法
CN111460480A (zh) * 2020-03-31 2020-07-28 中国电子科技集团公司第三十研究所 一种密文搜索系统中安全的密文文件分享方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114595472A (zh) * 2022-03-09 2022-06-07 合肥工业大学 面向密态数据的重复、不经意和抗链接的查询方法与系统
CN114595472B (zh) * 2022-03-09 2024-02-20 合肥工业大学 面向密态数据的重复、不经意和抗链接的查询方法与系统
CN115688141A (zh) * 2022-11-07 2023-02-03 东莞理工学院 一种个人信息拆分脱敏存储与重构方法及系统

Similar Documents

Publication Publication Date Title
WO2020237868A1 (zh) 数据传输方法、电子设备、服务器及存储介质
CN111191286B (zh) Hyperledger Fabric区块链隐私数据存储与访问系统及其方法
US7587608B2 (en) Method and apparatus for storing data on the application layer in mobile devices
US20210152351A1 (en) Computer System Implemented Method for Generating a Symmetric Encryption Key Used for Encrypting and Decrypting a Computer System User's Hidden Data
CN105359159A (zh) 加密的网络存储空间
CN112380557B (zh) 一种关系型数据库加密方法及该加密数据库查询方法
US11606202B2 (en) Methods and systems for secure data transmission
CN108810017B (zh) 业务处理安全验证方法及装置
CN113691502B (zh) 通信方法、装置、网关服务器、客户端及存储介质
US11824982B1 (en) Key updating method and apparatus, file sharing method and apparatus, device, and computer storage medium
CN107040520B (zh) 一种云计算数据共享系统及方法
CN113541935B (zh) 一种支持密钥托管的加密云存储方法、系统、设备、终端
US20160112413A1 (en) Method for controlling security of cloud storage
CN111639357B (zh) 一种加密网盘系统及其认证方法和装置
US20050033963A1 (en) Method and system for authentication, data communication, storage and retrieval in a distributed key cryptography system
CN112948903A (zh) 一种面向大数据存储的密态搜索技术架构及方法
CN111917711B (zh) 数据访问方法、装置、计算机设备和存储介质
JP2022103117A (ja) 暗号化データを保存するための方法及び設備
CN115632880A (zh) 一种基于国密算法的可靠数据传输及存储的方法及系统
CN112966287B (zh) 获取用户数据的方法、系统、设备和计算机可读介质
KR101140576B1 (ko) 암호화 문서에 대한 다자간 검색 시스템 및 그 방법
AU2019101343B4 (en) A computer system implemented method for generating a symmetric encryption key for encrypting and decrypting secure data
WO2019216847A2 (en) A sim-based data security system
CN110830252B (zh) 数据加密的方法、装置、设备和存储介质
WO2022199796A1 (en) Method and computer-based system for key management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210611

RJ01 Rejection of invention patent application after publication