CN110636141B - 基于云雾协同的多云存储系统及其管理方法 - Google Patents

基于云雾协同的多云存储系统及其管理方法 Download PDF

Info

Publication number
CN110636141B
CN110636141B CN201910985716.4A CN201910985716A CN110636141B CN 110636141 B CN110636141 B CN 110636141B CN 201910985716 A CN201910985716 A CN 201910985716A CN 110636141 B CN110636141 B CN 110636141B
Authority
CN
China
Prior art keywords
file
data
cloud storage
computing node
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910985716.4A
Other languages
English (en)
Other versions
CN110636141A (zh
Inventor
付印金
于全
张文宇
赵洪华
陈涵
施蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Army Engineering University of PLA
Original Assignee
Army Engineering University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Army Engineering University of PLA filed Critical Army Engineering University of PLA
Priority to CN201910985716.4A priority Critical patent/CN110636141B/zh
Publication of CN110636141A publication Critical patent/CN110636141A/zh
Application granted granted Critical
Publication of CN110636141B publication Critical patent/CN110636141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption

Abstract

本发明公开一种基于云雾协同的多云存储系统及其管理方法，服务可用性高、访问性能好、存储成本低、数据安全性高。该多云存储系统包括多个客户端(1)、雾计算节点(2)和多云存储服务(3)，所述雾计算节点(2)邻近客户端(1)，雾计算节点(2)与各客户端(1)通过网络通信互连，所述多云存储服务(3)远离雾计算节点(2)和客户端(1)，与所述雾计算节点(2)通过远程网络通信互连。该方法包括(10)发送访问请求、(20)认证访问请求、(30)文件数据缩减、(40)文件安全容错编码、(50)发送编码文件分片、(60)接收文件分片处理、(70)迁移云存储服务和(80)删除文件处理步骤。

Description

基于云雾协同的多云存储系统及其管理方法
技术领域
本发明属于分布式计算和云存储技术领域，特别是一种高可靠、高性能、高安全和低成本的云雾协同多云存储系统及其管理方法。
背景技术
随着信息化、数字化的逐年发展，人们对于数据的存储需求日益增长。在数据快速增长的情况下，本地存储方案已无法满足用户的需求，云存储的出现为用户提供按需付费的可扩展在线存储服务，也能方便地进行数据管理和维护，并且能帮助解决本地存储遇到的不可扩容、不方便携带、数据丢失恢复困难等问题。然而，如果用户只是将数据存储在一个云存储服务提供商，不仅使用户对其产生依赖性，而且还会造成云平台服务商对数据服务的垄断，即当用户要将存储的全部数据从单云中迁出时，就不得不为此付出高昂的费用和代价。而且将可能会面临一系列问题，包括：少数云计算服务供应商垄断市场并提供近似的产品服务而引起的供应商锁定问题、因特网临时不可用引起的服务可用性问题、许多云服务不可避免地存在数据丢失和损坏问题、以及恶意入侵者引起的安全隐私问题。
为了解决单云存储存在的上述问题，研究者们从云存储体系架构方面提出了多公有云存储和混合多云存储两种多云存储架构，如图1所示。
第一种为多公有云存储架构如图1，它通过增加一层复杂度来管理多个公共云，并将带可靠冗余的数据分散到多个云存储上。在中国发明专利申请“一种多云存储环境下数据的安全分发和修复方法、系统及介质”(申请号：201711164901.4，公开日：2017年11月21日)和“一种基于RAID4的多云存储系统扩展方法”(申请号：201610262243.1，公开日：2016年04月26日)，以及ACM SoCC’2010会议论文“RACS:A Case for Cloud StorageDiversity”(公开日：2010年6月10日)和USENIX ATC’2015会议论文“CDStore:TowardReliable,Secure,and Cost Efficient Cloud Storage via Convergent Dispersal”(公开日：2015年7月8日)中所提方法均采用这种架构。
该方法能有效地提升云存储服务可用性和数据安全性，但因云访问时延高，在性能方面仍然存在不足。
第二种为混合多云存储如图2，在多公有云存储系统架构的基础上增加了公有云和私有云混合模式。针对多公有云存储系统存在的访问时延高的缺陷，混合多云存储架构增加具有本地存储管理能力的私有云或雾计算节点来优化多云存储系统性能和安全性。中国发明专利申请“一种基于SDN的云/雾混合网络架构”(申请号：201610389344.5，公开日：2016-06-02)和“基于云雾协同的工业互联网敏感数据保护方法”(申请号：201910459548.5，公开日：2019年05月29日)就引入了云雾协同的思想来优化数据传输响应时延和安全管理。USENIX ATC 2007会议论文“SafeStore:A Durable and PracticalStorage System”(公开日：2007年6月17日)和IEEE Transactions on Cloud Computing期刊论文“Optimizing Information Leakage in Multicloud Storage Services”(公开日：2018年2月22日)中所提方法均采用这种类似的架构。
虽然混合多云存储架构在平衡云服务性能、可用性和安全性方面具有更好的优势，但是现有的混合多云存储架构并不能很好地节省云存储空间，控制云存储成本上存在不足。
由于云存储是一种基于按需付费的模式提供在线存储服务，云存储成本控制变成多云存储系统中一个非常关键的研究问题，但现有的混合多云存储系统在这方面的研究工作还非常有限。传统的节省云存储成本的方法是采用数据压缩和重复数据删除技术来减少云存储空间和网络带宽使用。在云雾协同的应用场景，IEEE Transactions on Paralleland Distributed System期刊论文“Application-aware Local-Global SourceDeduplication for Cloud Backup Services of Personal Storage.”(公开日：2013年7月2日)采用云和雾分别采用全局和局部重复数据删除来协同优化重删效率；此外，IEEEICDCS’2017会议论文“A Novel Architecture for Efficient Fog to Cloud DataManagement in Smart Cities.”(公开日：2017年6月5日)则结合数据压缩和重复数据删除两种技术来提升数据缩减率。然而，这些方法只是应用在单云存储场景，还没考虑更复杂的多云存储环境。由于重复数据删除技术与数据加密存在不兼容的问题，使得现有多云存储系统还无法很好地平衡云存储成本节省和数据隐私保护。
综上所述，现有多云存储技术存在的问题是：不论是多公共云存储架构还是混合多云存储架构都不能有效地平衡云存储的服务可用性、访问性能、成本开销和数据安全。
发明内容
本发明的目的在于提供一种基于云雾协同的多云存储系统，服务可用性高、访问性能好、存储成本低、数据安全性高。
本发明的另一目的在于提供一种基于云雾协同的多云存储系统的管理方法。
实现本发明目的的技术解决方案为：
一种基于云雾协同的多云存储系统，包括：
多个客户端(1)，用于向雾计算节点发送用户注册、登录及文件操作请求；
雾计算节点(2)，用于为客户端进行用户认证授权、文件元数据管理、在本地数据库缓存数据、对文件进行数据缩减和安全编码处理、以及转发编码后的文件数据到云存储服务；
多个云存储服务(3)，用于提供远程在线网络存储租赁服务，通过标准应用编程接口API进行文件访问操作，如Put、Get、Create和Delete等操作；
所述雾计算节点(2)邻近客户端(1)，雾计算节点(2)与各客户端(1)通过网络通信互连，所述云存储服务(3)远离雾计算节点(2)和客户端(1)，与所述雾计算节点(2)通过远程网络通信互连。
实现本发明另一目的的技术解决方案为：
一种基于云雾协同的多云存储系统的管理方法，包括如下步骤：
(10)发送访问请求：用户通过联网的移动或固定客户端向邻近的雾计算节点发送用户注册、登录及文件操作请求；
(20)认证访问请求：雾计算节点判断客户端请求是否来自已注册并有访问权限的用户，如是则进行用户访问请求响应，否则拒绝用户访问请求；
(30)文件数据缩减：对于客户端发送文件操作请求，雾计算节点对客户端发送来的文件进行基于应用感知重复数据删除处理，并对重复数据删除后的文件做数据压缩处理；
(40)文件安全容错编码：雾计算节点对缩减后的文件数据，先基于文件特征指纹进行加密，然后对文件数据密文进行纠删编码处理，生成多个文件编码分片；
(50)发送编码文件分片：雾计算节点创建多个通信线程，每个线程对应一个云存储服务，执行并发Put操作将多个文件编码分片按轮询的方式发送到多个远程的云存储服务；
(60)接收文件分片处理：对于客户端接收文件操作请求，雾计算节点根据数据库中的文件元数据，为每个云存储服务创建一个通信线程执行并发Get操作，从相应的多个远程云存储服务下载相关文件分片，解码文件分片，解压文件数据，再将这些解压后的文件数据进行重删逆操作恢复原文件；
(70)迁移云存储服务：若有云服务平台面临维护、检修，或关闭时，雾计算节点将原云存储服务上的全部文件分片通过Get操作下载下来，并通过Put操作转发上传至备用的云存储服务，同时更新数据库中相应文件分片到云存储服务映射的元数据信息；
(80)删除文件处理：对于客户端删除文件操作请求，雾计算节点查询数据库中的文件元数据信息，如果文件对应的分片不被其他文件共享，则向相应云存储服务发送删除分片Delete操作请求，否则暂不删除分片，并从数据库中将该文件到分片的映射元数据信息删除。
与现有技术相比，本发明的显著优点为：
1、服务可用性高：为保证云存储服务的业务连续性，避免单个数据中心和单个云服务提供商存在的可用性缺陷，本发明采用多云存储架构支持少数云存储服务失效后的业务连续性，并可实现云存储服务的快速恢复；
2、访问性能好：由于中心化计算模式造成访问延时长是云计算的致命弱点，本发明采用云雾协同的混合设计，允许部分云计算负载下放到雾计算节点来平衡性能和容量；
3、存储成本低：由于多云存储架构设计避免了供应商锁定，用户可以自由地在云运营商之间进行数据迁移，选择更低存储成本的云服务；此外，采用纠删码技术支持数据容错可比副本机制更节省存储空间使用；
4、数据安全性高：由于公有云是一种资源共享的计算环境使得数据安全性受到挑战，本发明基于云雾协同设计的思想，通过在雾端加密数据将大量安全隐患消除在上传到云服务之前。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是现有技术多公有云存储架构示意图。
图2是现有技术混合多云存储架构示意图。
图3是本发明基于云雾协同的多云存储系统架构示意图。
图4是本发明基于云雾协同的多云存储系统管理方法的主流程图。
图5是基于应用感知的数据缩减机制示意图。
图6是基于云雾协同的多云存储系统的功能实现示例图。
具体实施方式
如图3所示，本发明基于云雾协同的多云存储系统，包括：
多个客户端(1)，用于向雾计算节点发送用户注册、登录及文件操作请求；
雾计算节点(2)，用于为客户端进行用户认证授权、文件元数据管理、在本地数据库缓存数据、对文件进行数据缩减和安全编码处理、以及转发编码后的文件数据到云存储服务；
多个云存储服务(3)，用于提供远程在线网络存储租赁服务，通过标准应用编程接口API进行文件访问操作，如Put、Get、Create和Delete等操作；
所述雾计算节点(2)邻近客户端(1)，雾计算节点(2)与各客户端(1)通过网络通信互连，所述云存储服务(3)远离雾计算节点(2)和客户端(1)，与所述雾计算节点(2)通过远程网络通信互连。
所述客户端为移动或固定联网的计算设备，包括工作站、台式机、笔记本电脑、平板电脑、智能手机、传感器、以及可嵌入式计算设备。
所述云存储服务(3)可以在线访问、动态扩容和按需付费。
如图4所示，本发明基于云雾协同的多云存储系统的管理方法，用于对如图3所示的系统进行管理。其包括如下步骤：
(10)发送访问请求：用户通过联网的移动或固定客户端向邻近的雾计算节点发送用户注册、登录及文件操作请求；
(20)认证访问请求：雾计算节点判断客户端请求是否来自已注册并有访问权限的用户，如是则进行用户访问请求响应，否则拒绝用户访问请求；
(30)文件数据缩减：对于客户端发送文件操作请求，雾计算节点对客户端发送来的文件进行基于应用感知重复数据删除处理，并对重复数据删除后的文件做数据压缩处理；
如图5所示，所述(30)文件数据缩减步骤包括：
(31)应用感知分类：雾计算节点对文件进行应用感知分类；
(32)判断压缩文件：根据文件元数据信息，判定文件类型是否为压缩应用，如是则执行(33)，如否则执行(34)；
(33)文件级重删：对压缩应用文件按文件粒度分块进行重复数据删除处理；
(34)块级重删：对无压缩应用文件选择KB级大小的定长或变长分块后的块粒度进行重复数据删除处理；
(35)唯一块打包：将块级重删处理后来自同一文件的的唯一分块进行打包；
(36)文件包压缩：将打包后的文件包进行压缩。压缩算法采用任何传统压缩算法，如LZ、Deflate等。
所述(34)和(34)中的重复数据删除处理步骤包括：
(331)文件应用感知分块：根据文件元数据信息，将文件按应用类型划分为压缩应用和无压缩应用，并根据不同的应用类型选择文件分块方法，压缩应用选择全文件分块，无压缩应用选择KB级大小的定长或变长分块方法；
(332)文件块块指纹计算：对于每个文件分块采用加密哈希函数，计算得到表示文件分块的相应块指纹；
(333)文件块块指纹查询：在雾计算节点本地数据库中创建块指纹索引，并在块指纹索引中查询每个文件分块的块指纹，如已存在，则表示该文件分块为重复的，否则认为该文件分块作为新的唯一分块；
(334)映射关系更新：更新文件元数据中文件与数据块地址的映射关系，重复块地址采用块指纹索引中已存块地址信息替代，唯一块则在分块打包上传后更新块地址信息到块指纹索引和映射关系中；
(335)数据远存：将块指纹索引和文件元数据定期发送到多个云存储服务。
(40)文件安全容错编码：雾计算节点对缩减后的文件数据，先基于文件特征指纹进行加密，然后对文件数据密文进行纠删编码处理，生成多个文件编码分片；
所述(40)文件数据安全容错编码步骤包括：
(41)文件特征指纹选取：从文件缩减后剩余唯一的分块Ci，(i＝1,…k)捆绑成文件数据包B＝{C1,C2,…,Ck}，并从这些数据块的块指纹中选取最小指纹值作为文件特征指纹FPr＝mini k{fp(Ci)}，对于压缩应用，仅有的一个文件块指纹作为特征指纹，对于无压缩应用，在若干块指纹中取最小值作为特征指纹；
(42)文件数据加密：利用文件特征指纹FPr作为密钥加密数据缩减处理后的文件数据B，得到其密文：E＝e(B,FPr)；
(43)文件数据分割：将加密后的文件数据分割成m个分片E＝{E1,E2,…,Em}，然后通过(n,m)的Reed-Solomon算法编码为n个分片S＝{S1,S2,…,Sn}，这里n>m，以容忍n-m个分片出错或丢失。
(50)发送编码文件分片：雾计算节点创建多个通信线程，每个线程对应一个云存储服务，执行并发Put操作将多个文件编码分片按轮询的方式发送到多个远程的云存储服务；
(60)接收文件分片处理：对于客户端接收文件操作请求，雾计算节点根据数据库中的文件元数据从相应的多个远程云存储服务下载相关文件分片，解码文件分片，解压文件数据，再将这些解压后的文件数据进行重删逆操作恢复原文件；
所述(60)接收文件分片处理步骤包括：
(61)下载文件分片：雾计算节点根据其数据库服务器中的文件元数据，如文件与分片映射、分片与云存储服务映射等信息，为每个云存储服务创建一个通信线程执行并发Get操作从多个远程的云存储服务并发地下载对应的文件分片到雾计算节点；
(62)解码文件分片：雾计算节点将下载到的文件分片进行解码，如果分片数不够恢复文件则报错并结束流程，否则恢复文件加密数据，然后根据数据库管理的文件密钥解密文件数据；
(63)解压文件数据：雾计算节点将解密后的文件明文数据根据相应原压缩算法进行解压，再将这些解压后的文件数据进行重删逆操作恢复原文件。
(70)迁移云存储服务：若有云服务平台面临维护、检修，或关闭时，雾计算节点将原云存储服务上的全部文件分片通过Get操作下载下来，并通过Put操作转发上传至备用的云存储服务，同时更新数据库中相应文件分片到云存储服务映射的元数据信息；
(80)删除文件处理：对于客户端删除文件操作请求，雾计算节点查询数据库中的文件元数据信息，如果文件对应的分片不被其他文件共享，则向相应云存储服务发送删除分片Delete操作请求，否则暂不删除分片，并从数据库中将该文件到分片的映射元数据信息删除。
如图6所示，所述基于云雾协同的多云存储系统功能实现示例提供用户的注册、登录、文件上传、文件下载、文件管理、文件迁移等主要功能模块。用户先通过客户端进行注册，再登录后可以上传文件、下载文件、文件管理和文件迁移。
所述注册模块保障云主机的安全性，用户访问多云存储服务时均需要验证访问者的身份，以确保访问者具有相关权限。用户只需要连接雾节点服务器的数据库，将账户数据录入数据库，即可登陆多云存储系统进行使用。后台云平台验证方式通过Access Key来实现，Access Key由云服务提供商颁发给云存储用户，它由Access Key ID和Access KeySecret构成。在这里Access Key ID和Access Key Secret是系统管理员在后台数据库进行设置。
所述登录模块使得用户能够通过注册账户拥有管理查看自己数据的权限，实现数据访问逻辑隔离。账户登录后可以从雾节点数据库服务器获取文件的组织结构映射关系。后台数据库管理系统可以从角色控制角度保证数据的安全，使每个用户的数据的独立的，相互不影响。
所述文件上传模块实现将用户选中文件进过处理后上传至多个云服务平台，具体处理流程包括重删、压缩、分片、编码、分发上传。首先，文件经过(30)所述应用感知数据缩减处理，根据文件内部的重复数据块进行删除，再进一步压缩不重复的数据块，尽可能地减少上传的网络开销和云存储空间使用。然后，将重删和压缩后的文件数据进行分片，通过(40)所述安全容错编码对分片进行加密处理和增加容错校验分片。最后，通过互联网调用各个云服务平台的上传应用程序编程接口，将各个分片分发上传至各个云服务平台。
所述文件下载模块实现将用户选中文件分片从各个云服务平台下载至本地。具体处理流程时包括分发下载、解码、合片、解压、恢复。首先，通过调用各个云服务平台的下载应用程序编程接口利用互联网将分片从各个云服务平台下载至本地。然后，利用(40)所述安全容错编码的逆过程进行解码，再将各个有效分片合并写回一个完整的文件。若数据分片有丢失，则可以在解码阶段利用之前编码所产生的容错校验分片进行数据恢复。最后，执行(30)所述应用感知数据缩减的逆过程进行解压，将之前压缩和重删后的文件数据解压还原，得到用户上传前的原文件。
所述文件管理模块主要用于向用户展示所上传文件的相关信息及相关删除操作。相关信息包括“云端备注”、“文件名”、“大小”、“上传日期”、“类型”等五项。其中，“云端备注”为用户在上传文件时所填写的位于云服务平台的文件名，同样具有唯一性；“文件名”一列显示的是用户上传文件保存在电脑的原文件名；“大小”一列显示的是用户所上传文件的文件大小，单位“字节”(B)；“上传日期”一列显示的是用户上传成功时的日期，具体精确到“日”；“类型”一列显示的是文件类型，例如doc、jpg、ink等。而“操作”一列主要是体现在“删除”功能上，用户点击删除后，则会将文件从云服务平台删除，以提高存储空间利用率。
所述数据迁移模块是将某个原用云服务平台中的所有数据迁移至另外一个备用云服务平台。当某个云服务平台面临维护、检修，甚至是关闭时，为了保证用户数据的持久可靠性，需要将此云服务平台的全部数据迁出至另一个云服务平台。数据迁移则实现了这一功能，具体流程为遍历用户上传文件名、循环下载文件至本地、循环上传另一个云服务平台，至此完成了数据迁移功能。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均包括在本发明的专利保护范围内。

Claims (4)

1.一种基于云雾协同的多云存储系统的管理方法，所述多云存储系统，包括：
多个客户端（1），用于向雾计算节点发送用户注册、登录及文件操作请求；
雾计算节点（2），用于为客户端进行用户认证授权、文件元数据管理、在本地数据库缓存数据、对文件进行数据缩减和安全编码处理、以及转发编码后的文件数据到云存储服务；
多个云存储服务（3），用于提供远程在线网络存储租赁服务，通过标准应用编程接口API进行文件访问操作，包括Put、Get、Create和Delete操作；
所述雾计算节点（2）邻近客户端（1），雾计算节点（2）与各客户端（1）通过网络通信互连，所述多个云存储服务（3）远离雾计算节点（2）和客户端（1），与所述雾计算节点（2）通过远程网络通信互连；
所述客户端为移动或固定联网的计算设备，包括工作站、台式机、笔记本电脑、平板电脑、智能手机、传感器、以及可嵌入式计算设备；
所述多个云存储服务（3）可以在线访问、动态扩容和按需付费；
所述管理方法包括如下步骤：
（10）发送访问请求：用户通过无线或有线联网的移动或固定客户端向邻近的雾计算节点发送用户注册、登录及文件操作请求；
（20）认证访问请求：雾计算节点判断客户端请求是否来自已注册并有访问权限的用户，如是则进行用户访问请求响应，否则拒绝用户访问请求；
（30）文件数据缩减：对于客户端发送文件操作请求，雾计算节点对客户端发送来的文件进行基于应用感知重复数据删除处理，并对重复数据删除后的文件做数据压缩处理；
（40）文件安全容错编码：雾计算节点对缩减后的文件数据，先基于文件特征指纹进行加密，然后对文件数据密文进行纠删编码处理，生成多个文件编码分片；
（50）发送编码文件分片：雾计算节点创建多个通信线程，每个线程对应一个云存储服务，执行并发Put操作将多个文件编码分片按轮询的方式发送到多个远程的云存储服务；
（60）接收文件分片处理：对于客户端接收文件操作请求，雾计算节点根据数据库中的文件元数据，为每个云存储服务创建一个通信线程执行并发Get操作，从相应的多个远程云存储服务下载相关文件分片，解码文件分片，解压文件数据，再将这些解压后的文件数据进行重删逆操作恢复原文件；
（70）迁移云存储服务：若有云服务平台面临维护、检修，或关闭时，雾计算节点将原云存储服务上的全部文件分片通过Get操作下载下来，并通过Put操作转发上传至备用的云存储服务，同时更新数据库中相应文件分片到云存储服务映射的元数据信息；
（80）删除文件处理：对于客户端删除文件操作请求，雾计算节点查询数据库中的文件元数据信息，如果文件对应的分片不被其他文件共享，则向相应云存储服务发送删除分片Delete操作请求，否则暂不删除分片，并从数据库中将该文件到分片的映射元数据信息删除；
其特征在于，所述（30）文件数据缩减步骤包括：
（31）应用感知分类：雾计算节点对文件进行应用感知分类；
（32）判断压缩文件：根据文件元数据信息，判定文件类型是否为压缩应用，如是则执行（33），如否则执行（34）；
（33）文件级重删：对压缩应用文件按文件粒度分块进行重复数据删除处理；
（34）块级重删：对无压缩应用文件选择KB级大小的定长或变长分块后的块粒度进行重复数据删除处理；
（35）唯一块打包：将块级重删处理后来自同一文件的唯一分块进行打包；
（36）文件包压缩：将打包后的文件包进行压缩。
2.根据权利要求1所述的管理方法，其特征在于，所述重复数据删除处理步骤包括：
（331）文件应用感知分块：根据文件元数据信息，将文件按应用类型划分为压缩应用和无压缩应用，并根据不同的应用类型选择文件分块方法，压缩应用选择全文件分块，无压缩应用选择KB级大小的定长或变长分块方法；
（332）文件块块指纹计算：对于每个文件分块采用加密哈希函数，计算得到表示文件分块的相应块指纹；
（333）文件块块指纹查询：在雾计算节点本地数据库中创建块指纹索引，并在块指纹索引中查询每个文件分块的块指纹，如已存在，则表示该文件分块为重复的，否则认为该文件分块作为新的唯一分块；
（334）映射关系更新：更新文件元数据中文件与数据块地址的映射关系，重复块地址采用块指纹索引中已存块地址信息替代，唯一块则在分块打包上传后更新块地址信息到块指纹索引和映射关系中；
（335）数据远存：将块指纹索引和文件元数据定期发送到多个云存储服务。
3.根据权利要求1所述的管理方法，其特征在于，所述（40）文件安全容错编码步骤包括：
（41）文件特征指纹选取：从文件缩减后剩余唯一的分块Ci，(i=1,…k)捆绑成文件数据包B={C1, C2, …, Ck}，并从这些数据块的块指纹中选取最小指纹值作为文件特征指纹FPr=min i k{fp(Ci)}，对于压缩应用，仅有的一个文件块指纹作为特征指纹，对于无压缩应用，在若干块指纹中取最小值作为特征指纹；
（42）文件数据加密：利用文件特征指纹FPr作为密钥加密数据缩减处理后的文件数据B，得到其密文：E=e(B, FPr)；
（43）文件数据分割：将加密后的文件数据分割成m个分片E={E1, E2, …, Em}，然后通过（n, m）的Reed-Solomon算法编码为n个分片S={S1, S2, …, Sn}，这里n>m，以容忍n-m个分片出错或丢失。
4.根据权利要求1所述的管理方法，其特征在于，所述（60）接收文件分片处理步骤包括：
（61）下载文件分片：雾计算节点根据其数据库服务器中的文件元数据，如文件与分片映射、分片与云存储服务映射等信息，为每个云存储服务创建一个通信线程执行并发Get操作从多个远程的云存储服务并发地下载对应的文件分片到雾计算节点；
（62）解码文件分片：雾计算节点将下载到的文件分片进行解码，如果分片数不够恢复文件则报错并结束流程，否则恢复文件加密数据，然后根据数据库管理的文件密钥解密文件数据；
（63）解压文件数据：雾计算节点将解密后的文件明文数据根据相应原压缩算法进行解压，再将这些解压后的文件数据进行重删逆操作恢复原文件。
CN201910985716.4A 2019-10-17 2019-10-17 基于云雾协同的多云存储系统及其管理方法 Active CN110636141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910985716.4A CN110636141B (zh) 2019-10-17 2019-10-17 基于云雾协同的多云存储系统及其管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910985716.4A CN110636141B (zh) 2019-10-17 2019-10-17 基于云雾协同的多云存储系统及其管理方法

Publications (2)

Publication Number Publication Date
CN110636141A CN110636141A (zh) 2019-12-31
CN110636141B true CN110636141B (zh) 2021-11-09

Family

ID=68975047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910985716.4A Active CN110636141B (zh) 2019-10-17 2019-10-17 基于云雾协同的多云存储系统及其管理方法

Country Status (1)

Country Link
CN (1) CN110636141B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111628969B (zh) * 2020-04-24 2022-05-31 山东电子职业技术学院 一种面向高性能科学计算的云计算方法
CN111988356B (zh) * 2020-06-30 2022-11-29 浪潮通用软件有限公司 一种文件传输方法、设备及介质
CN113239367A (zh) * 2020-07-07 2021-08-10 上海超算科技有限公司 一种核电网络化协同计算环境下的标识数据加密存取方法
CN112153795B (zh) * 2020-09-18 2022-12-06 中国科学院深圳先进技术研究院 一种执行设备的控制方法及其系统
CN112860189B (zh) * 2021-02-19 2022-12-30 山东大学 一种成本驱动的冷热分层云存储冗余存储方法与系统
CN113067892B (zh) * 2021-04-09 2022-07-15 北京理工大学 一种使用公有云实现安全云同步和云存储的方法
CN115022044A (zh) * 2022-06-02 2022-09-06 联通(广东)产业互联网有限公司 一种基于多云架构的存储方法和系统
CN116028444B (zh) * 2022-12-30 2023-10-20 北京明朝万达科技股份有限公司 文件指纹生成方法、装置、系统、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714123A (zh) * 2013-12-06 2014-04-09 西安工程大学 企业云存储分块对象重复数据删除和重组版本控制方法
CN103944988A (zh) * 2014-04-22 2014-07-23 南京邮电大学 一种适用于云存储的重复数据删除系统和方法
CN106101199A (zh) * 2016-06-02 2016-11-09 西安电子科技大学 一种基于sdn的云/雾混合网络架构
CN106657266A (zh) * 2016-11-10 2017-05-10 南京云创大数据科技股份有限公司 一种基于公有云的安全可靠的公有云存储系统的架构及方法
WO2017105733A1 (en) * 2015-12-18 2017-06-22 Intel Corporation Computing devices
CN108415671A (zh) * 2018-03-29 2018-08-17 上交所技术有限责任公司 一种面向绿色云计算的重复数据删除方法及系统
CN108600310A (zh) * 2018-03-21 2018-09-28 南京邮电大学 一种物联网环境下的雾计算体系架构
CN109862011A (zh) * 2019-02-01 2019-06-07 华南理工大学 一种基于雾计算的物联网环境实时监测系统
CN110210237A (zh) * 2019-05-29 2019-09-06 北京工业大学 基于云雾协同的工业互联网敏感数据保护方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767480B1 (en) * 2011-06-20 2017-09-19 Pathmatics, Inc. Systems and methods for discovery and tracking of web-based advertisements
CN104978151B (zh) * 2015-06-19 2017-12-29 浪潮电子信息产业股份有限公司 基于应用感知的重复数据删除存储系统中的数据重构方法
US10616052B2 (en) * 2016-02-23 2020-04-07 Cisco Technology, Inc. Collaborative hardware platform management
CN106066896B (zh) * 2016-07-15 2021-06-29 中国人民解放军理工大学 一种应用感知的大数据重复删除存储系统及方法
CN107154945A (zh) * 2017-05-31 2017-09-12 中南大学 一种基于纠删码的多云碎片化安全存储方法及系统
CN109936472A (zh) * 2017-12-18 2019-06-25 上海无线通信研究中心 面向雾计算的节点计算能力描述方法、交互方法及其设备
CN109213738B (zh) * 2018-11-20 2022-01-25 武汉理工光科股份有限公司 一种云存储文件级重复数据删除检索系统及方法
CN109639414B (zh) * 2018-12-14 2021-04-27 杭州电子科技大学 一种基于特征距离与生成区间的指纹密钥生成方法
US10778530B2 (en) * 2018-12-27 2020-09-15 Intel Corporation Device discovery using heartbeat signals

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714123A (zh) * 2013-12-06 2014-04-09 西安工程大学 企业云存储分块对象重复数据删除和重组版本控制方法
CN103944988A (zh) * 2014-04-22 2014-07-23 南京邮电大学 一种适用于云存储的重复数据删除系统和方法
WO2017105733A1 (en) * 2015-12-18 2017-06-22 Intel Corporation Computing devices
CN106101199A (zh) * 2016-06-02 2016-11-09 西安电子科技大学 一种基于sdn的云/雾混合网络架构
CN106657266A (zh) * 2016-11-10 2017-05-10 南京云创大数据科技股份有限公司 一种基于公有云的安全可靠的公有云存储系统的架构及方法
CN108600310A (zh) * 2018-03-21 2018-09-28 南京邮电大学 一种物联网环境下的雾计算体系架构
CN108415671A (zh) * 2018-03-29 2018-08-17 上交所技术有限责任公司 一种面向绿色云计算的重复数据删除方法及系统
CN109862011A (zh) * 2019-02-01 2019-06-07 华南理工大学 一种基于雾计算的物联网环境实时监测系统
CN110210237A (zh) * 2019-05-29 2019-09-06 北京工业大学 基于云雾协同的工业互联网敏感数据保护方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
IoT-Based Healthcare Remote Monitoring Platform for Elderly with Fog and Cloud Computing;Adriana Alexandru等;《2019 22nd International Conference on Control Systems and Computer Science (CSCS)》;20190627;全文 *
Scalia: An adaptive scheme for efficient multi-cloud storage;Thanasis G.Papaioannou等;《SC "12: Proceedings of the International Conference on High Performance Computing, Networking, Storage and Analysis》;20130225;全文 *
基于混合云雾计算的物联网架构;李树磊等;《邮电设计技术 本期关注》;20180321(第02期);第1-4页及图1和2 *
重复数据删除关键技术研究进展;付印金等;《计算机研究与发展 系统结构》;20120427;第49卷(第01期);全文 *

Also Published As

Publication number Publication date
CN110636141A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
CN110636141B (zh) 基于云雾协同的多云存储系统及其管理方法
US11907168B2 (en) Data object store and server for a cloud storage environment, including data deduplication and data management across multiple cloud storage sites
CN106156359B (zh) 一种云计算平台下的数据同步更新方法
US8452731B2 (en) Remote backup and restore
US8799543B2 (en) Method and system for transformation of logical data objects for storage
US11803309B2 (en) Selective compression and encryption for data replication
JP2013093050A (ja) ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム
Fu et al. Application-aware client-side data reduction and encryption of personal data in cloud backup services
JP5174255B2 (ja) ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム
Kumar et al. Cloud storage performance improvement using deduplication and compression techniques
Akintoye et al. A Survey on Storage Techniques in Cloud Computing
Gangathade et al. Review on Secure System With Improved Reliability Using Distributed Deduplication
Panpaliya et al. Data deduplication for cloud backup services

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant