CN110059055A - 一种基于分布式私有云的文件存储及读取方法及装置 - Google Patents

一种基于分布式私有云的文件存储及读取方法及装置 Download PDF

Info

Publication number
CN110059055A
CN110059055A CN201910244743.6A CN201910244743A CN110059055A CN 110059055 A CN110059055 A CN 110059055A CN 201910244743 A CN201910244743 A CN 201910244743A CN 110059055 A CN110059055 A CN 110059055A
Authority
CN
China
Prior art keywords
file
cloud
private clound
files
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910244743.6A
Other languages
English (en)
Other versions
CN110059055B (zh
Inventor
郑穆
罗铁威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Amethyst Storage Technology Co ltd
Original Assignee
Guangdong Amethstum Storage Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Amethstum Storage Technology Co Ltd filed Critical Guangdong Amethstum Storage Technology Co Ltd
Priority to CN201910244743.6A priority Critical patent/CN110059055B/zh
Publication of CN110059055A publication Critical patent/CN110059055A/zh
Application granted granted Critical
Publication of CN110059055B publication Critical patent/CN110059055B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • G06F16/134Distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • G06F16/137Hash-based
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/064Management of blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0643Management of files
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1087Peer-to-peer [P2P] networks using cross-functional networking aspects
    • H04L67/1093Some peer nodes performing special functions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明公开一种基于分布式私有云的文件存储及读取方法及装置,本方法包括对智能终端与中心服务器之间建立P2P分布式私有云的连接;文件上传至分布式私有云,云中控制节点对文件生成相应的哈希值,将文件分解成文件块并存储;对文件的哈希值h生成唯一匹配的链接标识,将该链接标识分享至用户B所在的其中一智能终端;识别该链接标识获取文件的哈希值h,通过文件的哈希值h获取文件块,拼装所获取的文件块且传送至用户B所在的其中一智能终端读取文件。本发明对分散的智能终端间建立P2P的连接,将各智能终端闲余存储资源捐献为云资源用以文件存储,即保护了文件的私密性又减省成本。

Description

一种基于分布式私有云的文件存储及读取方法及装置
技术领域
本发明涉及文件处理领域,特别涉及一种基于分布式私有云的文件存储及读取方法及装置。
背景技术
随着智能设备的发展,智能设备的剩余资源包括存储和计算资源越来越多,特制的存储设备由于无法进行外网接入,而限制了设备的使用,许多家庭的IT设备也由于外网不容易接入,而造成IT资源浪费。
在物联网发展的今天,如何充分利用现有的、分散的IT资源,把数据有效的保存到边缘节点,并利用边缘节点的存储能力和/或计算能力进行分布式计算,是个极大的挑战。
目前云技术已经相当成熟,但传统的云服务是使用专有的服务器集群,是集中式数据中心,稳定性和安全性取决于服务器的投入和安全的设置,并发用户数和带宽成正比,在线用户越多需要的总带宽越多。对于个人用户来说,私密性无法保证,云服务将服务器集群进行云化,为客户提供云存储源,是按需付费模式,根据需要和使用情况进行付费,费用包括网络费、存储费和CPU使用费等,造成总成本投入比较高。
发明内容
本发明的主要目的是提出一种基于分布式私有云的文件存储及读取方法,旨在克服以上问题。
为实现上述目的,本发明提出的一种基于分布式私有云的文件存储及读取方法,包括如下步骤:
S10数个智能终端通过登录私有云APP,彼此之间建立P2P分布式的私有云连接,智能终端,用于根据自身的存储空间及边缘计算能力向私有云捐献云资源;私有云根据云资源对数个智能终端进行角色分配,其中角色有且不限于:中心服务器用于私有云网络的数据通信;控制节点用于根据任务分配云资源,及集合且传送任务最终结果;云存储节点用于接受私有云的存储任务;云文件表节点用于接受文件表的存储任务;
S20用户A通过所在的智能终端将文件上传至私有云,云中控制节点对文件生成相应的哈希值h,将文件分解成n个文件块,将每个文件块存储到m个云存储节点,m为按文件使用属性给出的冗余数,n的取值由文件容量大小结合云资源来决定;将文件的哈希值h与n个文件块的n*m个存储地址建立映射关系,将该映射关系以分布式哈希表形式写入云文件表节点;
S30对文件的哈希值h生成唯一匹配的链接标识,将该链接标识分享至用户B所在的其中一智能终端;
S40识别该链接标识获取文件的哈希值h,通过文件的哈希值h在云文件表节点查找对应的分布式哈希表,以通过分布式哈希表中的存储地址获取m个存储地址的n个文件块,拼装所获取的n*m文件块且传送至用户B所在的其中一智能终端,以读取文件。
优选地,所述m为文件的重要性给出的冗余数,其中文件使用属性包括文件使用时段长短、读取频次和文件存储时间。
优选地,所述n为1024bit的整数倍。
优选地,所述中心服务器包括一级加密系统,一级加密系统包括密钥发生器和真随机数发生器,所述S10中所述中心服务器对智能终端进行云文件表节点的角色分配中还包括;
S01真随机数发生器结合智能终端的连网状态,从智能终端的位序列随机抽取一节点为云文件表节点形成云文件表节点的位序列P1,P2,...,Pi,将该云文件表节点的位序列P1,P2,...,Pi与密钥发生器输出的一组随机位序列K1,K2,...,K3经过异或运算得到随机安全码Ci=Pi+Ki;
所述S40中通过文件的哈希值h在云文件表节点查找对应的分布式哈希表中还包括:
S02利用随机安全码Ci与该随机位序列K1,K2,...,K3进行异或运算解密得云文件表节点的位序列Pi=Ci+Ki。
优选地,所述中心服务器设置有二级加密系统,所述二级加密系统包括PKI加密器,用以对存储于分布式私有云上的文件设置其读取权限,所述S20中所述用户A将文件通过智能终端上传至分布式私有云还包括:
S03对上传文件通过PKI加密器用用户A私钥加密;所述S40之后还包括:
S04用户B获取文件读取权限的公钥,使用公钥解密文件进行读取。
优选地,所述中心服务器设置有二级加密系统,所述二级加密系统包括PKI加密机器,用以对存储于分布式私有云上所分解的文件块设置其读取权限,所述S20中所述用户A将文件通过智能终端上传至分布式私有云还包括:
S03对上传文件通过PKI加密器所分解的文件块使用用户A私钥加密;所述S40之后还包括:
S04用户B获取全部或部分文件块读取权限的公钥,用户B使用公钥解密文件块进行读取。
本发明还公开了基于分布式私有云的文件存储及读取装置,用于实现上述方法,其包括:
建网模块,用于数个智能终端通过登录私有云APP,彼此之间建立P2P分布式的私有云连接,智能终端,用于根据自身的存储空间及边缘计算能力向私有云捐献云资源;私有云根据云资源对数个智能终端进行角色分配,其中角色有且不限于:中心服务器用于私有云网络的数据通信;控制节点用于根据任务分配云资源,及集合且传送任务最终结果;云存储节点用于接受私有云的存储任务;云文件表节点用于接受文件表的存储任务;
存储模块,用于用户A通过所在的智能终端将文件上传至私有云,云中控制节点对文件生成相应的哈希值h,将文件分解成n个文件块,将每个文件块存储到m个云存储节点,m为按文件使用属性给出的冗余数,n的取值由文件容量大小结合云资源来决定;将文件的哈希值h与n个文件块的n*m个存储地址建立映射关系,将该映射关系以分布式哈希表形式写入云文件表节点;
链接模块,用于对文件的哈希值h生成唯一匹配的链接标识,将该链接标识分享至用户B所在的其中一智能终端;
读取模块,用于识别该链接标识获取文件的哈希值h,通过文件的哈希值h在云文件表节点查找对应的分布式哈希表,以通过分布式哈希表中的存储地址获取m个存储地址的n个文件块,拼装所获取的n*m文件块且传送至用户B所在的其中一智能终端,以读取文件。
优选地,还包括:
一级加密模块,用于真随机数发生器结合智能终端的连网状态,从智能终端的位序列随机抽取一节点为云文件表节点形成云文件表节点的位序列P1,P2,...,Pi,将该云文件表节点的位序列P1,P2,...,Pi与密钥发生器输出的一组随机位序列K1,K2,...,K3经过异或运算得到随机安全码Ci=Pi+Ki;及利用随机安全码Ci与该随机位序列K1,K2,...,K3进行异或运算解密得云文件表节点的位序列Pi=Ci+Ki。
优选地,还包括:
二级加密模块,用于对上传文件通过PKI加密器用用户A私钥加密,及用户B获取文件读取权限的公钥,使用公钥解密文件进行读取;或者是,用于对上传文件通过PKI加密器所分解的文件块使用用户A私钥加密,及用户B获取全部或部分文件块读取权限的公钥,用户B使用公钥解密文件块进行读取。
本发明技术方案对智能终端与中心服务器间建立P2P分布式云网路,利用智能终端分散空闲的存储资源和计算资源捐献为云资源,将各智能终端闲余存储资源捐献为云资源用以文件存储,与中心化云存储方式相比,减省了成本的投入。
本发明的私有云将待存储文件分解为n个文件块,分别存储于m个云存储节点,再将将文件的哈希值h与n个文件块的n*m个存储地址建立映射关系,将该映射关系以分布式哈希表形式写入云文件表节点,通过这样的哈希处理完成文件在私有云上的存储。这样的云存储,私密性高且数据传输更高效,任务节点可以很快地分配到云资源,无需通过外网接入,就能快速地完成存储或计算任务。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明基于分布式私有云的文件存储及读取方法一实施例的方法流程图;
图2为本发明基于分布式私有云的文件存储及读取方法另一实施例的方法流程图;
图3为本发明基于分布式私有云的文件存储及读取方法又一实施例的方法流程图;
图4为本发明基于分布式私有云的文件存储及读取方法再一实施例的方法流程图;
图5为本发明本发明基于分布式私有云的文件存储及读取装置一实施例的功能模块图;
图6为本发明本发明基于分布式私有云的文件存储及读取装置另一实施例的功能模块图,
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……),则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,若本发明实施例中有涉及“第一”、“第二”等的描述,则该“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
如图1-6所示,本发明提出的一种基于分布式私有云的文件存储及读取方法,包括如下步骤:
S10数个智能终端通过登录私有云APP,彼此之间建立P2P分布式的私有云连接,智能终端,用于根据自身的存储空间及边缘计算能力向私有云捐献云资源;私有云根据云资源对数个智能终端进行角色分配,其中角色有且不限于:中心服务器用于私有云网络的数据通信;控制节点用于根据任务分配云资源,及集合且传送任务最终结果;云存储节点用于接受私有云的存储任务;云文件表节点用于接受文件表的存储任务;
S20用户A通过所在的智能终端将文件上传至私有云,云中控制节点对文件生成相应的哈希值h,将文件分解成n个文件块,将每个文件块存储到m个云存储节点,m为按文件使用属性给出的冗余数,n的取值由文件容量大小结合云资源来决定;将文件的哈希值h与n个文件块的n*m个存储地址建立映射关系,将该映射关系以分布式哈希表形式写入云文件表节点;
S30对文件的哈希值h生成唯一匹配的链接标识,将该链接标识分享至用户B所在的其中一智能终端;
S40识别该链接标识获取文件的哈希值h,通过文件的哈希值h在云文件表节点查找对应的分布式哈希表,以通过分布式哈希表中的存储地址获取m个存储地址的n个文件块,拼装所获取的n*m文件块且传送至用户B所在的其中一智能终端,以读取文件。
在本发明实施例中,本发明基于TCP/IP协议将智能终端和中心服务器通过Internet构建为一个P2P分布式私有云,智能终端通过P2P对等网络连接,彼此平等,即可以提供服务又可以接受服务,也可以同时兼具不同的角色,智能终端可以为分散的、闲散的、具有一定的存储能力和边缘计算能力的智能终端,根据自己资源需求向私有云捐献资源,比如加入私有云的智能终端可以选择自己的硬盘、内存或存储芯片全共享,部分共享或完全不共享,智能终端的计算处理可以为CPU、GPU或AI芯片,同样也可以选择全部共享、闲时共享或完全不共享,以此方式向私有云捐献资源形成云资源。中心服务器用于智能终端之间的连网通信及私有云角色的分配;控制节点用于负责云资源分配及协调,比如若某节点在任务执行当中突然掉网,控制节点会马上分配新资源节点接棒执行掉网节点的任务。私有云角色的分配有且不限于:中心服务器、控制节点、云存储节点、边缘计算节点,角色的功能定义参照计算机云领域相关概念的定义。控制节点由智能终端连网在线状态及带宽情况择优选取。应该理解地是,各种角色在私有云网络中均为动态调节使用。
私有云APP为一种私有云的应用软件,用于管理分散的、闲散的、具有一定的存储能力和边缘计算能力的智能终端及云资源的使用。
根据私有云的需要,角色还可以包括中转服务器,比如中央服务器协助其它智能终端连网,若连网穿透不成功,则也可同时作为中转服务器帮助其它智能终端传输中转的数据。在手机移动数据网路和对称路由的情况下,网路穿透是较困难的,通常需要中转服务器中转接入智能终端或分布式私有云。
本发明的私有云将待存储文件分解为n个文件块,分别存储于m个云存储节点,再将将文件的哈希值h与n个文件块的n*m个存储地址建立映射关系,将该映射关系以分布式哈希表形式写入云文件表节点,通过这样的哈希处理完成文件在私有云上的存储。这样的云存储,私密性高且数据传输更高效,任务节点可以很快地分配到云资源,无需通过外网接入,就能快速地完成存储或计算任务。
本发明的文件上传至私有云后,云中控制节点对文件生成相应的哈希值h,同时记录下所属的n个文件块的m个存储地址,n、m均应理解为自然数。将文件的哈希值h与n个文件块的n*m个存储地址建立映射关系,将该映射关系以分布式哈希表形式写入云文件表节点。
本发明由文件的哈希值h生成唯一匹配的链接标识,分享至用户B开始文件的读取,用户B点击链接标识以识别并获取文件的哈希值h,由文件的哈希值h查找对应的分布式哈希表,再从分布式哈希表中获取存储地址,根据存储地址寻找文件块,拼装文件块传送到用户B进行读取。分布式哈希表利用哈希算法的平衡性、单调性、分散性和低负载性,对节点进行增加和删除以保证私有云的平衡。
优选地,所述m为文件使用属性给出的冗余数,其中文件使用属性包括文件使用时段长短、读取频次和文件存储时间。
优选地,所述n为1024bit的整数倍。
在本发明实施例中,本发明中的m为冗余数,根据文件使用属性给出,而使用属性由文件使用时段长短和频率,即时频分析,及文件存储时间来决定,n为1024bit的整数倍,如视频文件根据网络带宽情况对文件切块,以减少丢包和文件碎片。不同的文件根据自已属性被分解存储。
优选地,所述中心服务器包括一级加密系统,一级加密系统包括密钥发生器和真随机数发生器,所述S10中所述中心服务器对智能终端进行云文件表节点的角色分配中还包括;
S01真随机数发生器结合智能终端的连网状态,从智能终端的位序列随机抽取一节点为云文件表节点形成云文件表节点的位序列P1,P2,...,Pi,将该云文件表节点的位序列P1,P2,...,Pi与密钥发生器输出的一组随机位序列K1,K2,...,K3经过异或运算得到随机安全码Ci=Pi+Ki;
所述S40中通过文件的哈希值h在云文件表节点查找对应的分布式哈希表中还包括:
S02利用随机安全码Ci与该随机位序列K1,K2,...,K3进行异或运算解密得云文件表节点的位序列Pi=Ci+Ki。
优选地,所述中心服务器设置有二级加密系统,所述二级加密系统包括PKI加密器,用以对存储于分布式私有云上的文件设置其读取权限,所述S20中所述用户A将文件通过智能终端上传至分布式私有云还包括:
S03对上传文件通过PKI加密器用用户A私钥加密;
所述S40之后还包括:
S04用户B获取文件读取权限的公钥,使用公钥解密文件进行读取。
优选地,所述中心服务器设置有二级加密系统,所述二级加密系统包括PKI加密机器,用以对存储于分布式私有云上所分解的文件块设置其读取权限,所述S20中所述用户A将文件通过智能终端上传至分布式私有云还包括:
S03对上传文件通过PKI加密器所分解的文件块使用用户A私钥加密;所述S40之后还包括:
S04用户B获取全部或部分文件块读取权限的公钥,用户B使用公钥解密文件块进行读取。
在本发明实施例中,所有文件及文件块都需用户A的私钥加密,只有获取了文件或文件块的授权的私钥密令才能读取。文件的读取权限由用户A自定义。文件读取权限保护通过对私有云设置PKI加密机制来实现,比如A用户的文件授权读写权限给B用户,A用户采用自己的私钥对文件进行加密,A用户发送自己的数据签名给B用户验证该签名,B用户使用A用户授权读写权限的口令(公钥)对该签名进行解密。
本发明还公开了基于分布式私有云的文件存储及读取装置,用于实现上述方法,由于采用了所述方法的所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。其包括:
建网模块10,用于基于TCP/IP协议将智能终端与中心服务器之间建立P2P分布式私有云的连接,其中智能终端,用于根据自身的存储空间及边缘计算能力向私有云捐献资源,生成云资源;中心服务器,用于与智能终端之间建立通信连接,接收待存储的文件并根据云资源对智能终端进行角色分配,其中角色有且不限于控制节点、云存储节点和云文件表节点;
存储模块20,用于用户A将文件通过智能终端上传至分布式私有云,云中控制节点对文件生成相应的哈希值h,将文件分解成n个文件块,将每个文件块存储到m个云存储节点,m为按文件使用属性给出的冗余数,n的取值由文件容量大小结合云资源来决定;将文件的哈希值h与n个文件块的n*m个存储地址建立映射关系,将该映射关系以分布式哈希表形式写入云文件表节点;
链接模块30,用于对文件的哈希值h生成唯一匹配的链接标识,将该链接标识分享至用户B所在的其中一智能终端;
读取模块40,用于识别该链接标识获取文件的哈希值h,通过文件的哈希值h在云文件表节点查找对应的分布式哈希表,以通过分布式哈希表中的存储地址获取m个存储地址的n个文件块,拼装所获取的n*m文件块且传送至用户B所在的其中一智能终端,以读取文件。
优选地,还包括:
一级加密模块50,用于真随机数发生器结合智能终端的连网状态,从智能终端的位序列随机抽取一节点为云文件表节点形成云文件表节点的位序列P1,P2,...,Pi,将该云文件表节点的位序列P1,P2,...,Pi与密钥发生器输出的一组随机位序列K1,K2,...,K3经过异或运算得到随机安全码Ci=Pi+Ki;及利用随机安全码Ci与该随机位序列K1,K2,...,K3进行异或运算解密得云文件表节点的位序列Pi=Ci+Ki。
优选地,还包括:
二级加密模块60,用于对上传文件通过PKI加密器用用户A私钥加密,及用户B获取文件读取权限的公钥,使用公钥解密文件进行读取;或者是,用于对上传文件通过PKI加密器所分解的文件块使用用户A私钥加密,及用户B获取全部或部分文件块读取权限的公钥,用户B使用公钥解密文件块进行读取。
场景应用:
首先,用户在手机、移动终端或个人电脑下载并登录私有云APP,注册用户账号,获取私人密钥,登录后,选择本机设备进行绑定,输入本机设备信息,包括内网IP地址、外网IP地址、设备品牌、型号等,报送到中心服务器,做为私有云的节点之一;设定可捐献的存储空间,选择待保存文件上传至私有云,文件按分布式文件算法将文件分解为n个文件块,并将每个文件块分别存到m个云存储节点。每个文件生成一个唯一的哈希名h,将文件的哈希名h或二维码链接发给需分享文件的用户B,用户B根据所获得的私人密钥打开所分享的文件进行读取。
获得云存储节点信息,手机、移动终端或个人电脑根据中心服务器给出的端口进行连接,若穿透成功,则直接P2P通讯,若不能成功穿透,则使用附近节点作为中转服务器进行中转。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (9)

1.一种基于分布式私有云的文件存储及读取方法,其特征在于,包括如下步骤:
S10数个智能终端通过登录私有云APP,彼此之间建立P2P分布式的私有云连接,智能终端,用于根据自身的存储空间及边缘计算能力向私有云捐献云资源;私有云根据云资源对数个智能终端进行角色分配,其中角色有且不限于:中心服务器用于私有云网络的数据通信;控制节点用于根据任务分配云资源,及集合且传送任务最终结果;云存储节点用于接受私有云的存储任务;云文件表节点用于接受文件表的存储任务;
S20用户A通过所在的智能终端将文件上传至私有云,云中控制节点对文件生成相应的哈希值h,将文件分解成n个文件块,将每个文件块存储到m个云存储节点,m为按文件使用属性给出的冗余数,n的取值由文件容量大小结合云资源来决定;将文件的哈希值h与n个文件块的n*m个存储地址建立映射关系,将该映射关系以分布式哈希表形式写入云文件表节点;
S30对文件的哈希值h生成唯一匹配的链接标识,将该链接标识分享至用户B所在的其中一智能终端;
S40识别该链接标识获取文件的哈希值h,通过文件的哈希值h在云文件表节点查找对应的分布式哈希表,以通过分布式哈希表中的存储地址获取m个存储地址的n个文件块,拼装所获取的n*m文件块且传送至用户B所在的其中一智能终端,以读取文件。
2.如权利要求1所述的基于分布式私有云的文件存储及读取方法,其特征在于,所述m为文件使用属性给出的冗余数,其中文件使用属性包括文件使用时段长短、读取频次和文件存储时间。
3.如权利要求1所述的基于分布式私有云的文件存储及读取方法,其特征在于,所述n为1024bit的整数倍。
4.如权利要求1所述的基于分布式私有云的文件存储及读取方法,其特征在于,所述私有云设置一级加密系统,一级加密系统包括密钥发生器和真随机数发生器,所述S10中所述私有云对智能终端进行云文件表节点的角色分配中还包括;
S01真随机数发生器结合智能终端的连网状态,从智能终端的位序列随机抽取一节点为云文件表节点形成云文件表节点的位序列P1,P2,...,Pi,将该云文件表节点的位序列P1,P2,...,Pi与密钥发生器输出的一组随机位序列K1,K2,...,K3经过异或运算得到随机安全码Ci=Pi+Ki;
所述S40中通过文件的哈希值h在云文件表节点查找对应的分布式哈希表中还包括:
S02利用随机安全码Ci与该随机位序列K1,K2,...,K3进行异或运算解密得云文件表节点的位序列Pi=Ci+Ki。
5.如权利要求1所述的基于分布式私有云的文件存储及读取方法,其特征在于,所述私有云设置有二级加密系统,所述二级加密系统包括PKI加密器,用以对存储于分布式私有云上的文件设置其读取权限,所述S20中所述用户A将文件通过所在的智能终端将文件上传至私有云时还包括:
S03对上传文件通过PKI加密器用用户A私钥加密;
所述S40之后还包括:
S04用户B获取文件读取权限的公钥,使用公钥解密文件进行读取。
6.如权利要求1所述的基于分布式私有云的文件存储及读取方法,其特征在于,所述私有云设置有二级加密系统,所述二级加密系统包括PKI加密机器,用以对存储于分布式私有云上所分解的文件块设置其读取权限,所述S20中所述用户A将文件通过智能终端上传至分布式私有云还包括:
S03对上传文件通过PKI加密器所分解的文件块使用用户A私钥加密;所述S40之后还包括:
S04用户B获取全部或部分文件块读取权限的公钥,用户B使用公钥解密文件块进行读取。
7.一种基于分布式私有云的文件存储及读取装置,其特征在于,包括:
建网模块,用于数个智能终端通过登录私有云APP,彼此之间建立P2P分布式的私有云连接,智能终端,用于根据自身的存储空间及边缘计算能力向私有云捐献云资源;私有云根据云资源对数个智能终端进行角色分配,其中角色有且不限于:中心服务器用于私有云网络的数据通信;控制节点用于根据任务分配云资源,及集合且传送任务最终结果;云存储节点用于接受私有云的存储任务;云文件表节点用于接受文件表的存储任务;
存储模块,用于用户A通过所在的智能终端将文件上传至私有云,云中控制节点对文件生成相应的哈希值h,将文件分解成n个文件块,将每个文件块存储到m个云存储节点,m为按文件使用属性给出的冗余数,n的取值由文件容量大小结合云资源来决定;将文件的哈希值h与n个文件块的n*m个存储地址建立映射关系,将该映射关系以分布式哈希表形式写入云文件表节点;
链接模块,用于对文件的哈希值h生成唯一匹配的链接标识,将该链接标识分享至用户B所在的其中一智能终端;
读取模块,用于识别该链接标识获取文件的哈希值h,通过文件的哈希值h在云文件表节点查找对应的分布式哈希表,以通过分布式哈希表中的存储地址获取m个存储地址的n个文件块,拼装所获取的n*m文件块且传送至用户B所在的其中一智能终端,以读取文件。
8.如权利要求7所述的基于分布式私有云的文件存储及读取装置,其特征在于,还包括:
一级加密模块,用于真随机数发生器结合智能终端的连网状态,从智能终端的位序列随机抽取一节点为云文件表节点形成云文件表节点的位序列P1,P2,...,Pi,将该云文件表节点的位序列P1,P2,...,Pi与密钥发生器输出的一组随机位序列K1,K2,...,K3经过异或运算得到随机安全码Ci=Pi+Ki;及利用随机安全码Ci与该随机位序列K1,K2,...,K3进行异或运算解密得云文件表节点的位序列Pi=Ci+Ki。
9.如权利要求7所述的基于分布式私有云的文件存储及读取装置,其特征在于,还包括:
二级加密模块,用于对上传文件通过PKI加密器用用户A私钥加密,及用户B获取文件读取权限的公钥,使用公钥解密文件进行读取;或者是,用于对上传文件通过PKI加密器所分解的文件块使用用户A私钥加密,及用户B获取全部或部分文件块读取权限的公钥,用户B使用公钥解密文件块进行读取。
CN201910244743.6A 2019-03-28 2019-03-28 一种基于分布式私有云的文件存储及读取方法及装置 Expired - Fee Related CN110059055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910244743.6A CN110059055B (zh) 2019-03-28 2019-03-28 一种基于分布式私有云的文件存储及读取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910244743.6A CN110059055B (zh) 2019-03-28 2019-03-28 一种基于分布式私有云的文件存储及读取方法及装置

Publications (2)

Publication Number Publication Date
CN110059055A true CN110059055A (zh) 2019-07-26
CN110059055B CN110059055B (zh) 2022-04-29

Family

ID=67317789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910244743.6A Expired - Fee Related CN110059055B (zh) 2019-03-28 2019-03-28 一种基于分布式私有云的文件存储及读取方法及装置

Country Status (1)

Country Link
CN (1) CN110059055B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110535835A (zh) * 2019-08-09 2019-12-03 西藏宁算科技集团有限公司 一种基于消息摘要算法支持多云的共享云存储方法及系统
CN110535931A (zh) * 2019-08-23 2019-12-03 广东大杉网络科技有限公司 云计算授权管理方法、装置、设备及存储介质
CN111246315A (zh) * 2020-01-21 2020-06-05 咪咕视讯科技有限公司 视频交互方法、系统、边缘节点、客户端及存储介质
CN111258508A (zh) * 2020-02-16 2020-06-09 西安奥卡云数据科技有限公司 一种分布式对象存储中的元数据管理方法
CN111541598A (zh) * 2020-04-21 2020-08-14 重庆欢腾科技有限公司 分布式多主机通信系统、功能模块及其通信方法
WO2021027842A1 (zh) * 2019-08-13 2021-02-18 中兴通讯股份有限公司 一种实现边缘计算的方法、装置和系统
CN112667568A (zh) * 2020-12-21 2021-04-16 广州携旅信息科技有限公司 一种在酒店内网环境下实现分布式存储的方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100250497A1 (en) * 2007-01-05 2010-09-30 Redlich Ron M Electromagnetic pulse (EMP) hardened information infrastructure with extractor, cloud dispersal, secure storage, content analysis and classification and method therefor
CN104023085A (zh) * 2014-06-25 2014-09-03 武汉大学 一种基于增量同步的安全云存储系统
JP2015022318A (ja) * 2013-07-16 2015-02-02 日本電気株式会社 暗号化装置、復号装置、暗号化方法および暗号化プログラム
CN104735163A (zh) * 2015-04-10 2015-06-24 重庆邮电大学 一种用于混合云存储环境下多用户数据完整性验证方法
CN104993931A (zh) * 2015-06-05 2015-10-21 东南大学 一种云存储中多用户的加密搜索方法
CN106209823A (zh) * 2016-07-08 2016-12-07 西安电子科技大学 一种移动云计算环境下的轻量级文件远程加密方法
US20160379005A1 (en) * 2010-03-31 2016-12-29 Security First Corp. Systems and methods for securing data in motion
CN107257342A (zh) * 2017-06-23 2017-10-17 成都鼎智汇科技有限公司 一种基于云计算的数据安全处理方法
CN108696553A (zh) * 2017-04-06 2018-10-23 北京算云联科科技有限公司 一种基于混合云的物联网控制系统
CN108696565A (zh) * 2017-04-06 2018-10-23 北京算云联科科技有限公司 基于混合云和异构物联网的一体化数字家庭控制系统
CN108881195A (zh) * 2018-06-07 2018-11-23 蒋云 基于云环境的数据安全共享方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100250497A1 (en) * 2007-01-05 2010-09-30 Redlich Ron M Electromagnetic pulse (EMP) hardened information infrastructure with extractor, cloud dispersal, secure storage, content analysis and classification and method therefor
US20160379005A1 (en) * 2010-03-31 2016-12-29 Security First Corp. Systems and methods for securing data in motion
JP2015022318A (ja) * 2013-07-16 2015-02-02 日本電気株式会社 暗号化装置、復号装置、暗号化方法および暗号化プログラム
CN104023085A (zh) * 2014-06-25 2014-09-03 武汉大学 一种基于增量同步的安全云存储系统
CN104735163A (zh) * 2015-04-10 2015-06-24 重庆邮电大学 一种用于混合云存储环境下多用户数据完整性验证方法
CN104993931A (zh) * 2015-06-05 2015-10-21 东南大学 一种云存储中多用户的加密搜索方法
CN106209823A (zh) * 2016-07-08 2016-12-07 西安电子科技大学 一种移动云计算环境下的轻量级文件远程加密方法
CN108696553A (zh) * 2017-04-06 2018-10-23 北京算云联科科技有限公司 一种基于混合云的物联网控制系统
CN108696565A (zh) * 2017-04-06 2018-10-23 北京算云联科科技有限公司 基于混合云和异构物联网的一体化数字家庭控制系统
CN107257342A (zh) * 2017-06-23 2017-10-17 成都鼎智汇科技有限公司 一种基于云计算的数据安全处理方法
CN108881195A (zh) * 2018-06-07 2018-11-23 蒋云 基于云环境的数据安全共享方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
R. SWATHI 等: "Enhancing data storage security in Cloud using Certificateless public auditing", 《 2017 2ND INTERNATIONAL CONFERENCE ON COMPUTING AND COMMUNICATIONS TECHNOLOGIES (ICCCT)》 *
任静思 等: "面向云存储的分布式属性加密访问控制方案", 《网络新媒体技术》 *
刘绍刚: "基于NAS的私有云存储平台的设计与实现", 《计算机测量与控制》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110535835A (zh) * 2019-08-09 2019-12-03 西藏宁算科技集团有限公司 一种基于消息摘要算法支持多云的共享云存储方法及系统
WO2021027842A1 (zh) * 2019-08-13 2021-02-18 中兴通讯股份有限公司 一种实现边缘计算的方法、装置和系统
KR20220012315A (ko) * 2019-08-13 2022-02-03 지티이 코포레이션 에지 컴퓨팅 구현 방법, 장치 및 시스템
KR102599812B1 (ko) 2019-08-13 2023-11-07 지티이 코포레이션 에지 컴퓨팅 구현 방법, 장치 및 시스템
US11930399B2 (en) 2019-08-13 2024-03-12 Zte Corporation Method, device and system for implementing edge computing
CN110535931A (zh) * 2019-08-23 2019-12-03 广东大杉网络科技有限公司 云计算授权管理方法、装置、设备及存储介质
CN111246315A (zh) * 2020-01-21 2020-06-05 咪咕视讯科技有限公司 视频交互方法、系统、边缘节点、客户端及存储介质
CN111246315B (zh) * 2020-01-21 2022-06-03 咪咕视讯科技有限公司 视频交互方法、系统、边缘节点、客户端及存储介质
CN111258508A (zh) * 2020-02-16 2020-06-09 西安奥卡云数据科技有限公司 一种分布式对象存储中的元数据管理方法
CN111541598A (zh) * 2020-04-21 2020-08-14 重庆欢腾科技有限公司 分布式多主机通信系统、功能模块及其通信方法
CN112667568A (zh) * 2020-12-21 2021-04-16 广州携旅信息科技有限公司 一种在酒店内网环境下实现分布式存储的方法
CN112667568B (zh) * 2020-12-21 2022-11-22 广州携旅信息科技有限公司 一种在酒店内网环境下实现分布式存储的方法

Also Published As

Publication number Publication date
CN110059055B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN110059055A (zh) 一种基于分布式私有云的文件存储及读取方法及装置
US11240213B2 (en) Resource obtaining, distribution, and download method and apparatus, device, and storage medium
CN111343001B (zh) 一种基于区块链的社交数据共享系统
EP4120114A1 (en) Data processing method and apparatus, smart device and storage medium
CN110147994B (zh) 一种基于同态加密的区块链的即时执行方法
CN110493261B (zh) 基于区块链的验证码获取方法、客户端、服务器及存储介质
CN111818032B (zh) 基于云平台的数据处理方法、装置及计算机程序
CN109768987A (zh) 一种基于区块链的数据文件安全隐私存储和分享方法
CN109165957A (zh) 基于区块链的发票数据报销方法、系统及相关设备
CN113783836A (zh) 基于区块链和ibe算法的物联网数据访问控制方法及系统
CN113037484B (zh) 数据传输方法、装置、终端、服务器及存储介质
CN113472513B (zh) 一种基于区块链的并行安全多方计算方法
CN109995739A (zh) 一种信息传输方法、客户端、服务器及存储介质
CN113726522A (zh) 基于区块链的物联网设备处理方法及装置
CN113393225B (zh) 数字货币加密支付方法及系统
CN108123934A (zh) 一种面向移动端的数据完整性校验方法
CN110445840A (zh) 一种基于区块链技术的文件存储和读取的方法
He et al. A novel cryptocurrency wallet management scheme based on decentralized multi-constrained derangement
KR20230063640A (ko) 속성 기반 암호를 이용한 분산형 데이터 관리 방법 및 시스템
CN102209066B (zh) 网络认证的方法和设备
US20070266251A1 (en) Circuit Arrangement And Method For Securing Communication Within Communication Networks
CN110233829A (zh) 基于分布式存储的保密信息系统及通信方法
KR101215802B1 (ko) 피투피 네트워크에 있어서 컨텐츠 서비스 제공 방법
CN116743377B (zh) 基于区块链密钥的数据处理方法、装置、设备及存储介质
US20230299964A1 (en) Talking Head Digital Identity Authentication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210521

Address after: 518064 1601-1602, Shenzhen Bay venture capital building, 25 Haitian 2nd Road, Binhai community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Amethyst Storage Technology Co.,Ltd.

Address before: 514781 in Guangzhou (Meizhou) industrial transfer park, Yujiang Town, Meixian County, Meizhou City, Guangdong Province

Applicant before: GUANGDONG AMETHYST INFORMATION STORAGE TECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220429