CN116401210A - 面向云边协同的多层级密文存储系统 - Google Patents
面向云边协同的多层级密文存储系统 Download PDFInfo
- Publication number
- CN116401210A CN116401210A CN202310387007.2A CN202310387007A CN116401210A CN 116401210 A CN116401210 A CN 116401210A CN 202310387007 A CN202310387007 A CN 202310387007A CN 116401210 A CN116401210 A CN 116401210A
- Authority
- CN
- China
- Prior art keywords
- file
- client
- edge
- storage
- subsystem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005457 optimization Methods 0.000 claims abstract description 19
- 238000009966 trimming Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 12
- 239000000872 buffer Substances 0.000 claims description 9
- 239000012536 storage buffer Substances 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000013138 pruning Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims 1
- 238000007726 management method Methods 0.000 abstract description 23
- 238000013500 data storage Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/134—Distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/176—Support for shared access to files; File sharing support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Bioethics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Storage Device Security (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种面向云边协同的多层级密文存储系统,包括客户端、密态数据搜索服务子系统、密钥管理子系统、边缘存储子系统和云存储子系统,其中密态数据搜索服务子系统用于维护密文索引和提供检索服务;客户端集成密态搜索、文件加密模块,直接向边缘存储子系统上传、下载密文数据;密钥管理子系统用于管理密态数据搜索服务子系统和客户端的搜索密钥、文件加密密钥等;边缘存储子系统和云存储子系统根据预先设置的加密策略对重复密文数据执行删除操作,实现存储资源的优化。本发明在提高数据存储安全性的同时,可降低存储延迟,提升吞吐量,提高边缘存储服务的效能。
Description
技术领域
本发明涉及数据存储技术领域,尤其涉及一种面向云边协同的多层级密文存储系统。
背景技术
边缘存储将数据分散存储在邻近的边缘存储设备或数据中心,大幅度缩短了数据产生、计算、存储之间的物理距离,为边缘计算提供高速低延迟的数据访问,满足行业数字在敏捷联接、实时业务、数据优化、应用智能等方面的关键需求。但高速增长的边缘数据对边缘存储系统的容量、性能、功耗提出了严峻挑战,数据流通无序也加剧了数据泄露风险。
不同于集中式云存储服务,边缘存储将数据存储从远距离的云服务器端,迁移到离数据更近的边缘存储设备或边缘数据中心就近存储,具有更低的网络通信开销、交互延迟和带宽成本,更高的自适应能力与可扩展性。与云存储相比,边缘存储具有如下特点:
1)边缘存储设备具备地理分布式特性
边缘存储设备和边缘数据中心在地理上是分布式的。大量地理位置分散的边缘存储设备可借助Wi-Fi、蓝牙、Zigbee等无线接入技术,与相邻的存储设备或边缘数据中心构成分布式存储网络。这种地理分布式结构使数据能够及时地就近存储,为边缘计算关键任务的实时性数据存储和访问提供了保障。而云数据中心在地理上是集中式的,远距离的传输延迟使得大量边缘设备的数据存储和处理需求无法被及时处理;拥塞的网络、高延迟的服务等都将会导致服务质量(QoS)的急剧下降。
2)边缘存储介质和系统具备异构性
边缘存储具有异构存储的特点,主要体现为水平边缘异构和垂直多层次异构。水平边缘异构是指不同种类的边缘终端设备通常采用不同的存储介质,或者基于同一种存储介质采用不同的存储系统软件进行数据存储。该特性使得边缘存储能利用大量的异构存储介质和存储系统就近快速地存储各类边缘数据。垂直多层次异构是指根据距离大型集中式云数据中心的远近,边缘存储可分为3个层次:边缘设备、边缘数据中心、分布式数据中心,不同层次对应不同的存储系统。该特性使不同层次的存储系统能够相互协作,通过多层次、多级别的数据缓存和预取策略优化边缘数据的存储和访问。
3)边缘存储架构具备支持内部部署的特性
边缘存储架构支持在边缘端设备内部部署存储系统,与外部网络进行隔离。独立存储数据于内部部署的边缘存储系统,具有以下优势:能够为边缘计算任务提供高速的本地数据资源访问,满足边缘应用的实时性需求;能够在本地最大限度地控制访问内部存储设备,监测控制数据存储的位置,实时调整机密数据的冗余策略;能面向数据源对数据进行加密或其他预处理,增强数据安全性。
4)边缘存储数据具备位置感知的特性
边缘存储就近存储数据,数据分布与地理位置紧密相关,具备地理位置的强感知特性。依托该特性,边缘计算任务在处理数据时,无须查询整个存储网络定位数据,极大地减少主干网络的流量负载。同时,边缘计算任务可以和所需数据在地理位置上近距离绑定,减少数据在网络上的传输延迟,加快数据的处理速度,为大数据分析平台提供更好的底层支持。此外,通过对边缘存储数据的地理分布情况进行统计和分析,应用服务提供商可以联系移动用户与感兴趣的企业和事件,提升用户服务质量。
综合看来边缘计算存储节点具有分布范围广、数量多、所处环境复杂、存储介质异构等特点,在实际环境中会带来存储数据的安全、隐私问题及效率问题。
发明内容
为了解决上述问题,本发明提出一种面向云边协同的多层级密文存储系统,针对边缘存储数据的安全、隐私、高效查询及存储效率需求,在分布式存储组织方面,基于边缘存储、云存储多级协同存储模型,设计高效的数据分布管理方法,使数据靠近数据源或使用者的“边缘”位置存储,并优化数据冗余,从而提高存储服务的性能和可靠性。在存储安全方面,构建以密态计算为核心的分布式安全存储模型,为分布式环境下敏感数据的密态搜索、密态去重提供支撑机制,可降低存储延迟,提升吞吐量和空间利用率。
本发明采用的技术方案如下:
一种面向云边协同的多层级密文存储系统,包括客户端、密态数据搜索服务子系统、密钥管理子系统、边缘存储子系统和云存储子系统,其中:
客户端被配置为在用户向边缘存储子系统上传或下载文件时,加密目标文件关键字构建密文索引,加密目标文件内容生成包括密文数据的加密文件,并将加密文件上传到边缘存储子系统,同时在密态数据搜索服务子系统建立用于搜索加密文件的密态关键字索引列表。
密态数据搜索服务子系统被配置为从密钥管理子系统获得搜索密钥,在客户端发起上传、下载和分享操作时,为客户端的用户建立密态关键字索引列表,并提供密态关键字索引列表的存储、更新和查询。
密钥管理子系统被配置为在客户端执行上传、下载操作时提供文件加密密钥,在客户端执行分享操作时为被分享用户的客户端提供文件加密密钥,以及为客户端和密态数据搜索服务子系统提供搜索密钥。
边缘存储子系统被配置为接收客户端上传的加密文件,对加密文件先进行检测和重复删除,再进行相应处理及分块存储;响应客户端的下载请求,向客户端传输加密文件,对客户端的下载请求频率、相关密文元数据进行统计;将符合预定策略的加密数据块上传云存储子系统,并在本地删除该加密数据块。
云存储子系统被配置为接收各边缘存储子系统上传的加密数据块,对加密数据块进行检测和重复删除后,将加密数据块写入存储空间;响应各边缘存储子系统的文件下载请求,传输响应的加密数据块,对各加密数据块的密文元数据进行管理。
进一步地,所述客户端在发起分享操作时,通过密钥管理子系统向被分享用户的客户端分发文件密钥,并通知被分享用户的客户端,被分享用户的客户端接收分享后,向密态数据搜索服务子系统更新被分享用户的密态关键字索引列表完成分享。
进一步地,所述客户端采用基于存根的加密技术进行加密,密钥更新过程中只对存根重新执行加密而无需对全部文件重新加密,既支持密态数据更新也支持去重优化。
进一步地,客户端对目标文件进行加密的方法包括以下步骤:
S101.客户端将明文文件拆分为可变大小的数据块,基于不同数据块生成和请求相应加密密钥;
S102.客户端基于数据块生成哈希值并发送给密钥管理子系统,密钥管理子系统基于该哈希值生成和签发数据块密钥;
S103.对每个数据块使用相应数据块密钥加密生成若干加密包,加密包数量与客户端拆分的数据块数量相同;在每个加密包尾部拆分出一个存根,其余部分为修剪包,将所有加密包的存根收集在一个存根文件并通过用户根密钥加密;当需要更新密钥时,仅更新存根文件;同时,客户端生成目标文件的元数据信息,完成对目标文件的加密处理。
进一步地,步骤S103中,所述元数据信息包括文件名、路径哈希值、文件大小、文件分块个数、所属用户ID及密钥状态。
进一步地,所述边缘存储子系统的分块存储包括文件级密文存储和优化,所述文件级密文存储和优化包括以下步骤:
S201.客户端对目标文件加密处理完毕后,与边缘存储子系统建立连接,依次上传加密数据块及元数据信息;
S202.边缘存储子系统对同一目标文件的加密数据块进行连续存储,对上传到边缘存储缓冲区的若干加密包,先计算每个加密包对应修剪包的哈希指纹,并将哈希指纹存储在元数据信息文件中;对同一文件所属的所有加密数据块的哈希指纹进行异或相加得到哈希指纹文件,用于文件级去重的校验;
S203.边缘存储子系统建立加密文件的去重索引文件,所述去重索引文件包括哈希指纹文件和元数据信息存储位置的映射;在每次上传目标文件后,都计算哈希指纹文件并判断该哈希指纹文件是否在去重索引文件中;若不存在,则将哈希指纹文件存入去重索引文件中,并存储目标文件下所有的修剪包;若已存在,则仅存储目标文件的元数据信息,无需存储加密数据块。
进一步地,在边缘存储子系统和云存储子系统协同优化密文时,边缘存储子系统根据相关因素按需将加密数据块存入云存储子系统,同时基于最近最少使用原则删除相应的加密文件,所述相关因素包括自身存储空间阈值和访问频率;云存储子系统基于哈希值对重复的加密数据块进行删除。
进一步地,所述协同优化密文包括以下步骤:
S301.边缘存储子系统发起上传请求,将所有修剪包放入缓冲队列,按顺序上传;
S302.云存储子系统接收边缘存储子系统上传的修剪包,并放入去重缓冲队列,逐个计算加密数据块的哈希指纹,并与云数据块索引进行对比,若该哈希指纹已经存在,则删除该加密数据块;若不存在,则先将该哈希指纹存入云数据块索引,然后将对应加密数据块放入存储缓冲等待存储;
S303.云存储子系统逐个存储去重后的加密数据块,在收到边缘存储子系统发送的结束标志后中断链接,完成本次密文存储优化,释放所有缓冲区;
S304.边缘存储子系统完成传输后,删除本地已在云端备份的加密数据块。
进一步地,客户端对加密文件进行下载的方法包括以下步骤:
S401.客户端基于可搜索加密算法定位加密文件位置,对已定位的加密文件发起下载请求;
S402.边缘存储子系统接收到该下载请求,在去重索引文件中查找判断是否存在元数据信息,若存在,则更新元数据信息时间戳,并获取该文件含有的加密数据块信息,
S403.进一步判断该加密数据块是否存在于边缘存储子系统还是云存储子系统,若存在于边缘存储子系统,则直接返回相关信息给客户端,所述相关信息包括加密数据块、存根文件和密钥状态;若存在于云存储子系统,则向云存储子系统发起请求,并更新云存储子系统的元数据信息,返回相关信息给客户端。
进一步地,客户端对加密文件进行解密的方法包括以下步骤:
S501.根据下载的加密数据块及相关信息,基于密钥状态提取密钥文件,解密存根文件;
S502.将所有修剪包和存根组合后解密得到明文数据块组合,再拼接为原文件并在客户端呈现。
本发明的有益效果在于:
(1)在分布式存储组织方面,本发明基于边缘存储、云存储多级协同存储模型,设计高效的数据分布管理方法,使数据靠近数据源或使用者的“边缘”位置存储,并优化数据冗余,从而提高存储服务的性能和可靠性。
(2)在存储安全方面,本发明构建以密态计算为核心的分布式安全存储模型,为分布式环境下敏感数据的密态搜索、密态去重提供支撑机制,在提高数据存储安全性的同时,降低存储延迟,提升吞吐量,提高边缘存储服务的效能。
(3)在密文存储及使用方面,本发明提出一种基于存根的高效密钥更新技术,可提升存储密文安全性,并支持两级重复加密数据优化,使边缘和云端密文存储均能提升存储空间利用率,显著降低存储成本。
附图说明
图1本发明的一种面向云边协同的多层级密文存储系统原理图。
图2本发明的一种面向云边协同的多层级密文存储系统架构图。
图3本发明实施例中客户端对目标文件进行加密的方法流程图。
图4本发明实施例中文件级密文存储和优化流程图。
图5本发明实施例中边缘存储子系统的协同优化密文流程图。
图6本发明实施例中云存储子系统的协同优化密文流程图。
图7本发明实施例中客户端对加密文件进行下载的方法流程图。
图8本发明实施例中客户端对加密文件进行解密的方法流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现说明本发明的具体实施方式。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明,即所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本实施例提供了一种面向云边协同的多层级密文存储系统,在单独可信服务器构建密态数据搜索服务子系统用于维护密文索引和提供检索服务,用于帮助客户端定位密文数据块。客户端集成密态搜索、文件加密模块,客户端与分布式存储系统网络连通,直接向边缘存储子系统上传、下载密文数据。在单独可信服务器部署密钥管理子系统,用于管理密态数据搜索服务子系统和客户端的搜索密钥、文件加密密钥等。边缘存储子系统根据预先设置的加密策略对重复密文数据执行删除操作,实现存储资源的优化。由于多级存储模型包含多个边缘存储子系统和一个云存储子系统,不同边缘存储子系统管理不同的用户群,因此实际环境密态数据搜索服务子系统和密钥管理子系统均可以由多个服务节点组成。
由于边缘存储同传统云中心存储一样可能会对用户存储在云端的数据进行分析,边缘存储被假设为是“诚实而好奇的”,用户仅存储密文数据到边缘存储节点,存储端无法看到任何具有语义的明文数据。与此同时构建密钥管理子系统实现对用户管理,与各实体间基于“安全信道”传输密钥,所有具有语义的明文数据仅在用户客户端出现且不离开客户端。本实施例的多层级密文存储系统基于加密重复删除机制自动删除存储节点的重复密文数据,基于可搜索加密技术提供搜索定位服务,各边缘存储子系统与客户端数据加密机制和搜索请求形成联动。
如图2所示,本实施例的一种面向云边协同的多层级密文存储系统,包括客户端、密态数据搜索服务子系统、密钥管理子系统、边缘存储子系统和云存储子系统,其中:
客户端被配置为在用户向边缘存储子系统上传或下载文件时,加密目标文件关键字构建密文索引,加密目标文件内容生成包括密文数据的加密文件(支持密态去重),并将加密文件上传到边缘存储子系统,同时在密态数据搜索服务子系统建立用于搜索加密文件的密态关键字索引列表。
密态数据搜索服务子系统被配置为从密钥管理子系统获得搜索密钥(支持密态去重),在客户端发起上传、下载和分享操作时,为客户端的用户建立密态关键字索引列表,并提供密态关键字索引列表的存储、更新和查询。
密钥管理子系统被配置为在客户端执行上传、下载操作时提供文件加密密钥,在客户端执行分享操作时为被分享用户的客户端提供文件加密密钥,以及为客户端和密态数据搜索服务子系统提供搜索密钥。
优选地,客户端在发起分享操作时,通过密钥管理子系统向被分享用户的客户端分发文件密钥,并通知被分享用户的客户端,被分享用户的客户端接收分享后,向密态数据搜索服务子系统更新被分享用户的密态关键字索引列表完成分享。
边缘存储子系统被配置为接收客户端上传的加密文件,对加密文件先进行检测和重复删除,再进行相应处理及分块存储;响应客户端的下载请求,向客户端传输加密文件,对客户端的下载请求频率、相关密文元数据进行统计;将符合预定策略的加密数据块上传云存储子系统,并在本地删除该加密数据块。
云存储子系统被配置为接收各边缘存储子系统上传的加密数据块,对加密数据块进行检测和重复删除后,将加密数据块写入存储空间;响应各边缘存储子系统的文件下载请求,传输响应的加密数据块,对各加密数据块的密文元数据进行管理。
优选地,在密态搜索技术方面,本实施例基于可搜索加密算法支持用户在客户端实现文件索引构建。在服务端密态文件云边协同存储方面,用边缘存储子系统为用户提供存储访问接口。边缘存储子系统集成相应的密态搜索模块,实现密态文件的搜索定位,密态搜索技术以密钥管理子系统为可信中心,提供客户端关键词加密、内容加密等密钥的派生和管理以及服务端搜索密钥的派生和管理。
优选地,客户端采用基于存根的加密技术进行加密,支持密钥的高效更新,密钥更新过程中只对存根重新执行加密而无需对全部文件重新加密,既支持密态数据更新也支持去重优化。客户端加密核心思想是将传统基于随机密钥的加密改为基于内容的加密,意味着相同的数据块具有相同的加密密钥,因此能为重复密文删除提供支撑。
如图3所示,客户端对目标文件进行加密的方法包括以下步骤:
S101.客户端将明文文件拆分为可变大小的数据块(chunk),基于不同数据块生成和请求相应加密密钥;
S102.客户端基于数据块生成哈希值并发送给密钥管理子系统,密钥管理子系统基于该哈希值生成和签发数据块密钥(CK);
S103.对每个数据块使用相应数据块密钥加密生成若干加密包(package),加密包数量与客户端拆分的数据块数量相同;在每个加密包尾部拆分出一个存根(stub,如32、64字节),其余部分为修剪包(trimmedpackage),将所有加密包的存根(stub)收集在一个存根文件(stubfile)并通过用户根密钥(RK)加密,以此实现对密文的控制。当需要更新密钥时,仅需要更新加密存根文件即可。在缺乏用户根密钥的情况下,即使攻击者猜测得到数据块密钥依然不能解密存根文件,相当于有了双保险。
与此同时,客户端生成目标文件的元数据信息(metafile),完成对目标文件的加密处理。优选地,元数据信息包括文件名、路径哈希值、文件大小、文件分块个数、所属用户ID及密钥状态。
优选地,边缘存储子系统的分块存储包括文件级密文存储和优化,如图4所示,文件级密文存储和优化包括以下步骤:
S201.客户端对目标文件加密处理完毕后,与边缘存储子系统建立连接,依次上传加密数据块及元数据信息;
S202.边缘存储子系统对同一目标文件的加密数据块进行连续存储,对上传到边缘存储缓冲区的若干加密包,先计算每个加密包对应修剪包的哈希指纹(fingerprintpac),并将哈希指纹存储在元数据信息文件中;对同一文件所属的所有加密数据块的哈希指纹进行异或相加得到哈希指纹文件(fingerprintfile),用于文件级去重的校验;
S203.边缘存储子系统建立加密文件的去重索引文件(Indexfile),去重索引文件包括哈希指纹文件和元数据信息存储位置的映射;在每次上传目标文件后,都计算哈希指纹文件并判断该哈希指纹文件是否在去重索引文件中;若不存在,则将哈希指纹文件存入去重索引文件中,并存储目标文件下所有的修剪包;若已存在,则仅存储目标文件的元数据信息,无需存储加密数据块。
优选地,在边缘存储子系统和云存储子系统协同优化密文时,边缘存储子系统根据相关因素按需将加密数据块存入云存储子系统,同时基于最近最少使用原则删除相应的加密文件,相关因素包括自身存储空间阈值和访问频率;云存储子系统基于哈希值对重复的加密数据块进行删除,以进一步节省数据存储空间。
优选地,如图5和图6所示,协同优化密文包括以下步骤:
S301.边缘存储子系统发起上传请求,将所有修剪包放入缓冲队列,按顺序上传;
S302.云存储子系统接收边缘存储子系统上传的修剪包,并放入去重缓冲队列,逐个计算加密数据块的哈希指纹,并与云数据块索引(Index)进行对比,若该哈希指纹已经存在,则删除该加密数据块;若不存在,则先将该哈希指纹存入云数据块索引,然后将对应加密数据块放入存储缓冲等待存储;
S303.云存储子系统逐个存储去重后的加密数据块,在收到边缘存储子系统发送的结束标志后中断链接,完成本次密文存储优化,释放所有缓冲区;
S304.边缘存储子系统完成传输后,删除本地已在云端备份的加密数据块。
优选地,如图7所示,客户端对加密文件进行下载的方法包括以下步骤:
S401.客户端基于可搜索加密算法定位加密文件位置,对已定位的加密文件发起下载请求(请求内容包括文件名、文件路径);
S402.边缘存储子系统接收到该下载请求,在去重索引文件中查找判断是否存在元数据信息,若存在,则更新元数据信息时间戳,并获取该文件含有的加密数据块信息,
S403.进一步判断该加密数据块是否存在于边缘存储子系统还是云存储子系统,若存在于边缘存储子系统,则直接返回相关信息给客户端,相关信息包括加密数据块、存根文件和密钥状态;若存在于云存储子系统,则向云存储子系统发起请求,并更新云存储子系统的元数据信息,返回相关信息给客户端。
优选地,如图8所示,客户端对加密文件进行解密的方法包括:根据下载的加密数据块及相关信息,基于密钥状态提取密钥文件,解密存根文件;将所有修剪包和存根组合后解密得到明文数据块组合,再拼接为原文件并在客户端呈现。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (10)
1.一种面向云边协同的多层级密文存储系统,其特征在于,包括客户端、密态数据搜索服务子系统、密钥管理子系统、边缘存储子系统和云存储子系统,其中:
客户端被配置为在用户向边缘存储子系统上传或下载文件时,加密目标文件关键字构建密文索引,加密目标文件内容生成包括密文数据的加密文件,并将加密文件上传到边缘存储子系统,同时在密态数据搜索服务子系统建立用于搜索加密文件的密态关键字索引列表;
密态数据搜索服务子系统被配置为从密钥管理子系统获得搜索密钥,在客户端发起上传、下载和分享操作时,为客户端的用户建立密态关键字索引列表,并提供密态关键字索引列表的存储、更新和查询;
密钥管理子系统被配置为在客户端执行上传、下载操作时提供文件加密密钥,在客户端执行分享操作时为被分享用户的客户端提供文件加密密钥,以及为客户端和密态数据搜索服务子系统提供搜索密钥;
边缘存储子系统被配置为接收客户端上传的加密文件,对加密文件先进行检测和重复删除,再进行相应处理及分块存储;响应客户端的下载请求,向客户端传输加密文件,对客户端的下载请求频率、相关密文元数据进行统计;将符合预定策略的加密数据块上传云存储子系统,并在本地删除该加密数据块;
云存储子系统被配置为接收各边缘存储子系统上传的加密数据块,对加密数据块进行检测和重复删除后,将加密数据块写入存储空间;响应各边缘存储子系统的文件下载请求,传输响应的加密数据块,对各加密数据块的密文元数据进行管理。
2.根据权利要求1所述的面向云边协同的多层级密文存储系统,其特征在于,所述客户端在发起分享操作时,通过密钥管理子系统向被分享用户的客户端分发文件密钥,并通知被分享用户的客户端,被分享用户的客户端接收分享后,向密态数据搜索服务子系统更新被分享用户的密态关键字索引列表完成分享。
3.根据权利要求1所述的面向云边协同的多层级密文存储系统,其特征在于,所述客户端采用基于存根的加密技术进行加密,密钥更新过程中只对存根重新执行加密而无需对全部文件重新加密,既支持密态数据更新也支持去重优化。
4.根据权利要求3所述的面向云边协同的多层级密文存储系统,其特征在于,客户端对目标文件进行加密的方法包括以下步骤:
S101.客户端将明文文件拆分为可变大小的数据块,基于不同数据块生成和请求相应加密密钥;
S102.客户端基于数据块生成哈希值并发送给密钥管理子系统,密钥管理子系统基于该哈希值生成和签发数据块密钥;
S103.对每个数据块使用相应数据块密钥加密生成若干加密包,加密包数量与客户端拆分的数据块数量相同;在每个加密包尾部拆分出一个存根,其余部分为修剪包,将所有加密包的存根收集在一个存根文件并通过用户根密钥加密;当需要更新密钥时,仅更新存根文件;同时,客户端生成目标文件的元数据信息,完成对目标文件的加密处理。
5.根据权利要求4所述的面向云边协同的多层级密文存储系统,其特征在于,步骤S103中,所述元数据信息包括文件名、路径哈希值、文件大小、文件分块个数、所属用户ID及密钥状态。
6.根据权利要求1所述的面向云边协同的多层级密文存储系统,其特征在于,所述边缘存储子系统的分块存储包括文件级密文存储和优化,所述文件级密文存储和优化包括以下步骤:
S201.客户端对目标文件加密处理完毕后,与边缘存储子系统建立连接,依次上传加密数据块及元数据信息;
S202.边缘存储子系统对同一目标文件的加密数据块进行连续存储,对上传到边缘存储缓冲区的若干加密包,先计算每个加密包对应修剪包的哈希指纹,并将哈希指纹存储在元数据信息文件中;对同一文件所属的所有加密数据块的哈希指纹进行异或相加得到哈希指纹文件,用于文件级去重的校验;
S203.边缘存储子系统建立加密文件的去重索引文件,所述去重索引文件包括哈希指纹文件和元数据信息存储位置的映射;在每次上传目标文件后,都计算哈希指纹文件并判断该哈希指纹文件是否在去重索引文件中;若不存在,则将哈希指纹文件存入去重索引文件中,并存储目标文件下所有的修剪包;若已存在,则仅存储目标文件的元数据信息,无需存储加密数据块。
7.根据权利要求1所述的面向云边协同的多层级密文存储系统,其特征在于,在边缘存储子系统和云存储子系统协同优化密文时,边缘存储子系统根据相关因素按需将加密数据块存入云存储子系统,同时基于最近最少使用原则删除相应的加密文件,所述相关因素包括自身存储空间阈值和访问频率;云存储子系统基于哈希值对重复的加密数据块进行删除。
8.根据权利要求7所述的面向云边协同的多层级密文存储系统,其特征在于,所述协同优化密文包括以下步骤:
S301.边缘存储子系统发起上传请求,将所有修剪包放入缓冲队列,按顺序上传;
S302.云存储子系统接收边缘存储子系统上传的修剪包,并放入去重缓冲队列,逐个计算加密数据块的哈希指纹,并与云数据块索引进行对比,若该哈希指纹已经存在,则删除该加密数据块;若不存在,则先将该哈希指纹存入云数据块索引,然后将对应加密数据块放入存储缓冲等待存储;
S303.云存储子系统逐个存储去重后的加密数据块,在收到边缘存储子系统发送的结束标志后中断链接,完成本次密文存储优化,释放所有缓冲区;
S304.边缘存储子系统完成传输后,删除本地已在云端备份的加密数据块。
9.根据权利要求1所述的面向云边协同的多层级密文存储系统,其特征在于,客户端对加密文件进行下载的方法包括以下步骤:
S401.客户端基于可搜索加密算法定位加密文件位置,对已定位的加密文件发起下载请求;
S402.边缘存储子系统接收到该下载请求,在去重索引文件中查找判断是否存在元数据信息,若存在,则更新元数据信息时间戳,并获取该文件含有的加密数据块信息,
S403.进一步判断该加密数据块是否存在于边缘存储子系统还是云存储子系统,若存在于边缘存储子系统,则直接返回相关信息给客户端,所述相关信息包括加密数据块、存根文件和密钥状态;若存在于云存储子系统,则向云存储子系统发起请求,并更新云存储子系统的元数据信息,返回相关信息给客户端。
10.根据权利要求9所述的面向云边协同的多层级密文存储系统,其特征在于,客户端对加密文件进行解密的方法包括以下步骤:
S501.根据下载的加密数据块及相关信息,基于密钥状态提取密钥文件,解密存根文件;
S502.将所有修剪包和存根组合后解密得到明文数据块组合,再拼接为原文件并在客户端呈现。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310387007.2A CN116401210A (zh) | 2023-04-12 | 2023-04-12 | 面向云边协同的多层级密文存储系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310387007.2A CN116401210A (zh) | 2023-04-12 | 2023-04-12 | 面向云边协同的多层级密文存储系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116401210A true CN116401210A (zh) | 2023-07-07 |
Family
ID=87017668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310387007.2A Pending CN116401210A (zh) | 2023-04-12 | 2023-04-12 | 面向云边协同的多层级密文存储系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116401210A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117335576A (zh) * | 2023-12-01 | 2024-01-02 | 江苏国强兴晟能源科技有限公司 | 一种基于云边协同的光伏支架控制系统 |
-
2023
- 2023-04-12 CN CN202310387007.2A patent/CN116401210A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117335576A (zh) * | 2023-12-01 | 2024-01-02 | 江苏国强兴晟能源科技有限公司 | 一种基于云边协同的光伏支架控制系统 |
CN117335576B (zh) * | 2023-12-01 | 2024-02-13 | 江苏国强兴晟能源科技有限公司 | 一种基于云边协同的光伏支架控制系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105678189B (zh) | 加密数据文件存储和检索系统及方法 | |
US9332422B2 (en) | Method of file transmission based upon distributed storage in wireless communication system | |
CN102067557B (zh) | 使用本地托管高速缓存和密码散列函数来减少网络通信的方法和系统 | |
JP5222395B2 (ja) | データファイル転送フレームワークにおける削除 | |
US11539672B2 (en) | Private virtual network replication of cloud databases | |
CN102457555A (zh) | 一种分布式存储的安全系统及方法 | |
EP2951978A1 (en) | Methods and systems for shared file storage | |
EP2852093B1 (en) | Method, system, and device for sharing documents | |
CN115344548A (zh) | 预测存储服务 | |
US11290433B2 (en) | Message-based database replication | |
KR101285281B1 (ko) | 자가조직 저장매체의 보안 시스템 및 그 방법 | |
US10581804B2 (en) | End-to-end caching of secure content via trusted elements | |
US9390101B1 (en) | Social deduplication using trust networks | |
CN116401210A (zh) | 面向云边协同的多层级密文存储系统 | |
Guo et al. | Blockchain-assisted caching optimization and data storage methods in edge environment | |
CN116204580A (zh) | 在多部署数据库中复制帐户安全特征 | |
KR102503958B1 (ko) | 분산 네트워크 환경에서의 쿼리 배치 장치 및 그 방법 | |
Dinesh et al. | Dynamic auditing and deduplication with secure data deletion in Cloud | |
CN110633256A (zh) | 一种分布式集群系统中Session会话的共享方法 | |
Cui et al. | The study of searchable encryption mechanism | |
US20230010179A1 (en) | Backing up confidential data to user devices on the same local network | |
Akintoye et al. | A Survey on Storage Techniques in Cloud Computing | |
Hammami et al. | A System Architecture for Data Storage in the Cloud | |
CN116633921A (zh) | 基于边缘缓存的cdn-p2p网络及缓存方法、缓存放置方法 | |
Rexilla et al. | Optimizing Cloud Bandwidth and Cost using Content Aware Chunk Prediction to Improve Efficiency of Retrieval |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |