CN111723071A - 一种分布式动态点化云存储技术 - Google Patents

一种分布式动态点化云存储技术 Download PDF

Info

Publication number
CN111723071A
CN111723071A CN202010562518.XA CN202010562518A CN111723071A CN 111723071 A CN111723071 A CN 111723071A CN 202010562518 A CN202010562518 A CN 202010562518A CN 111723071 A CN111723071 A CN 111723071A
Authority
CN
China
Prior art keywords
data
node
cloud storage
distributed dynamic
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010562518.XA
Other languages
English (en)
Inventor
张立旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Youwang Intelligent Technology Co ltd
Original Assignee
Jiangsu Youwang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Youwang Intelligent Technology Co ltd filed Critical Jiangsu Youwang Intelligent Technology Co ltd
Priority to CN202010562518.XA priority Critical patent/CN111723071A/zh
Publication of CN111723071A publication Critical patent/CN111723071A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Human Computer Interaction (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种分布式动态点化云存储技术，包括：(1)编码；(2)切片和索引；(3)存储；(4)取回；(5)加密。通过上述方式，本发明分布式动态点化云存储技术通过采用自产的硬件铺设到家庭终端去，利用穿透技术把每家每户的宽带资源加以利用，搭载区块链技术，最终实现优网的“边际云”，可以保证数据的安全存储，搭载区块链的技术和应用，所存储的数据理论上可万世永存，另外，因为分布式动态点化云存储技术为切片加密技术，将存储的内容切片成100份以上，每一份独立加密，然后随机存储在所安装的家庭终端里去，真正实现了去中心化和隐私保护，在分布式动态点化云存储技术的普及上有着广泛的市场前景。

Description

一种分布式动态点化云存储技术
技术领域
本发明涉及存储领域，特别是涉及一种分布式动态点化云存储技术。
背景技术
5G即将或已然到来，其网络速度提升了近100倍，那么不管是人工智能或是VR或是AI等技术的飞速猛进，所产生的大量的数据沉余需要得以安放。
当下是大数据爆发的时代，每一个人都生活在透明的玻璃瓶中一般，所有的信息基本都在大数据的分析研判内，那么每个人最后仅剩的个人隐私一定值得被尊重和被保护，未来谁能解决个人数据的隐私问题，谁将占有一方市场。
现在有阿里云、腾讯云、百度云等产品提供存储服务，但是现有的存储服务大多无法真正实现去中心化、无法实现真正的隐私保护，因此现有的存储服务无法满足发展的要求。
发明内容
本发明主要解决的技术问题是提供一种分布式动态点化云存储技术，通过采用自产的硬件铺设到家庭终端去，利用穿透技术把每家每户的宽带资源加以利用，搭载区块链技术，最终实现优网的“边际云”，可以保证数据的安全存储，搭载区块链的技术和应用，所存储的数据理论上可万事永存，另外，因为分布式动态点化云存储技术为切片加密技术，将存储的内容切片成100份以上，每一份独立加密，然后随机存储在所安装的家庭终端里去，真正实现了去中心化和隐私保护，在分布式动态点化云存储技术的普及上有着广泛的市场前景。
为解决上述技术问题，本发明提供一种分布式动态点化云存储技术，包括：
(1)编码：
采用Kademlia算法对文件进行编码；
(2)切片和索引：
(2.1)切片：
按照预先设定的大小，将任意文件切成若干片，并计算每一片的hash值，并将这个hash值作为切片后的文件名，
(2.2)索引：
本机保存文件的索引，
(2.3)冲突检查：
基于SHA256做数据的存储关键字，并在存储数据前检查关键字是否冲突，如果检查发现本地已经存储了相同的关键字，进一步检查数据的其他参数，并逐字节比较两份数据：如果数据不同，而关键字冲突，可以将这个信息汇报给存储任务的发布者，要求发布者重新生成关键字，如果数据相同，则不作重复存储；
(3)存储：
本机保留索引，利用Kademlia算法进行节点匹配，寻找最合适的存储节点和冗余节点，将切片后的数据实际存储到目标节点；
(4)取回：
想要取回数据的用户，首先取出文件的索引，然后根据索引询问数据的存储地址和本机是否保留了缓存：如果本机保留了缓存，则直接返回给客户端，如果本机没有缓存，则根据索引文件，进行节点匹配，
其中节点匹配并非一次命中，而是寻找到最匹配节点之后，再对节点进行进一步询问，确认是否存储了对应内容：如果目标节点存储了对应内容，则取回对应内容，如果目标节点没有存储对应内容，则要求节点进一步推荐近邻节点，收敛查找，直到找到目标内容，并取回目标内容；
(5)加密：
对索引文件和切片后的数据进行加密处理，对于加密后的索引文件，仅授权人员才可以解密读取内容。
在本发明一个较佳实施例中，步骤(2)中文件的索引命名方式为切片名、顺序和MD5。
在本发明一个较佳实施例中，所述MD5用作取回时校验。
在本发明一个较佳实施例中，步骤(2.1)中的所述若干片的数量大于100。
在本发明一个较佳实施例中，步骤(2.3)中的所述其他参数包括size或者其他特征信息。
在本发明一个较佳实施例中，步骤(5)中的所述切片后的数据的加密方式为独立加密。
本发明的有益效果是：本发明分布式动态点化云存储技术通过采用自产的硬件铺设到家庭终端去，利用穿透技术把每家每户的宽带资源加以利用，搭载区块链技术，最终实现优网的“边际云”，可以保证数据的安全存储，搭载区块链的技术和应用，所存储的数据理论上可万事永存，另外，因为分布式动态点化云存储技术为切片加密技术，将存储的内容切片成100份以上，每一份独立加密，然后随机存储在所安装的家庭终端里去，真正实现了去中心化和隐私保护，在分布式动态点化云存储技术的普及上有着广泛的市场前景。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例包括：
一种分布式动态点化云存储技术，包括：
(1)编码：
采用Kademlia算法对文件进行编码；
(2)切片和索引：
(2.1)切片：
按照预先设定的大小，将任意文件切成若干片，并计算每一片的hash值，并将这个hash值作为切片后的文件名，
(2.2)索引：
本机保存文件的索引，
(2.3)冲突检查：
基于SHA256做数据的存储关键字，并在存储数据前检查关键字是否冲突，如果检查发现本地已经存储了相同的关键字，进一步检查数据的其他参数，并逐字节比较两份数据：如果数据不同，而关键字冲突，可以将这个信息汇报给存储任务的发布者，要求发布者重新生成关键字，如果数据相同，则不作重复存储；
(3)存储：
本机保留索引，利用Kademlia算法进行节点匹配，寻找最合适的存储节点和冗余节点，将切片后的数据实际存储到目标节点；
(4)取回：
想要取回数据的用户，首先取出文件的索引，然后根据索引询问数据的存储地址和本机是否保留了缓存：如果本机保留了缓存，则直接返回给客户端，如果本机没有缓存，则根据索引文件，进行节点匹配，
其中节点匹配并非一次命中，而是寻找到最匹配节点之后，再对节点进行进一步询问，确认是否存储了对应内容：如果目标节点存储了对应内容，则取回对应内容，如果目标节点没有存储对应内容，则要求节点进一步推荐近邻节点，收敛查找，直到找到目标内容，并取回目标内容；
(5)加密：
对索引文件和切片后的数据进行加密处理，对于加密后的索引文件，仅授权人员才可以解密读取内容。
优选地，步骤(2)中文件的索引命名方式为切片名、顺序和MD5。
优选地，所述MD5用作取回时校验，增加数据安全系数。
优选地，步骤(2.1)中的所述若干片的数量大于100，将存储的内容切片成100份以上，每一份独立加密，然后随机存储在所安装的家庭终端里去，真正实现了去中心化和隐私保护。
优选地，步骤(2.3)中的所述其他参数包括size或者其他特征信息，此处的其他特征信息可根据实际存储的数据类型不同做不同的更改，这是本技术领域技术人员根据其技能可实现的方法，因此本技术方案不予赘述。
优选地，步骤(5)中的所述切片后的数据的加密方式为独立加密，增加数据的安全系数。
本技术方案利用自身的硬件铺设到家庭终端去，利用穿透技术把每家每户的宽带资源加以利用，搭载区块链技术，最终实现优网的“边际云”，此处的硬件设备并非本技术方案的保护范围，故本技术方案中不予赘述。
本发明分布式动态点化云存储技术的有益效果是：
通过采用自产的硬件铺设到家庭终端去，利用穿透技术把每家每户的宽带资源加以利用，搭载区块链技术，最终实现优网的“边际云”，可以保证数据的安全存储，搭载区块链的技术和应用，所存储的数据理论上可万事永存，另外，因为分布式动态点化云存储技术为切片加密技术，将存储的内容切片成100份以上，每一份独立加密，然后随机存储在所安装的家庭终端里去，真正实现了去中心化和隐私保护。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种分布式动态点化云存储技术，其特征在于，包括：
(1)编码：
采用Kademlia算法对文件进行编码；
(2)切片和索引：
(2.1)切片：
按照预先设定的大小，将任意文件切成若干片，并计算每一片的hash值，并将这个hash值作为切片后的文件名，
(2.2)索引：
本机保存文件的索引，
(2.3)冲突检查：
基于SHA256做数据的存储关键字，并在存储数据前检查关键字是否冲突，如果检查发现本地已经存储了相同的关键字，进一步检查数据的其他参数，并逐字节比较两份数据：如果数据不同，而关键字冲突，可以将这个信息汇报给存储任务的发布者，要求发布者重新生成关键字，如果数据相同，则不作重复存储；
(3)存储：
本机保留索引，利用Kademlia算法进行节点匹配，寻找最合适的存储节点和冗余节点，将切片后的数据实际存储到目标节点；
(4)取回：
想要取回数据的用户，首先取出文件的索引，然后根据索引询问数据的存储地址和本机是否保留了缓存：如果本机保留了缓存，则直接返回给客户端，如果本机没有缓存，则根据索引文件，进行节点匹配，
其中节点匹配并非一次命中，而是寻找到最匹配节点之后，再对节点进行进一步询问，确认是否存储了对应内容：如果目标节点存储了对应内容，则取回对应内容，如果目标节点没有存储对应内容，则要求节点进一步推荐近邻节点，收敛查找，直到找到目标内容，并取回目标内容；
(5)加密：
对索引文件和切片后的数据进行加密处理，对于加密后的索引文件，仅授权人员才可以解密读取内容。
2.根据权利要求1所述的分布式动态点化云存储技术，其特征在于，步骤(2)中文件的索引命名方式为切片名、顺序和MD5。
3.根据权利要求2所述的分布式动态点化云存储技术，其特征在于，所述MD5用作取回时校验。
4.根据权利要求1所述的分布式动态点化云存储技术，其特征在于，步骤(2.1)中的所述若干片的数量大于100。
5.根据权利要求1所述的分布式动态点化云存储技术，其特征在于，步骤(2.3)中的所述其他参数包括size或者其他特征信息。
6.根据权利要求1所述的分布式动态点化云存储技术，其特征在于，步骤(5)中的所述切片后的数据的加密方式为独立加密。
CN202010562518.XA 2020-06-18 2020-06-18 一种分布式动态点化云存储技术 Pending CN111723071A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010562518.XA CN111723071A (zh) 2020-06-18 2020-06-18 一种分布式动态点化云存储技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010562518.XA CN111723071A (zh) 2020-06-18 2020-06-18 一种分布式动态点化云存储技术

Publications (1)

Publication Number Publication Date
CN111723071A true CN111723071A (zh) 2020-09-29

Family

ID=72567666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010562518.XA Pending CN111723071A (zh) 2020-06-18 2020-06-18 一种分布式动态点化云存储技术

Country Status (1)

Country Link
CN (1) CN111723071A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103166991A (zh) * 2011-12-14 2013-06-19 中国电信股份有限公司 一种基于p2p和云存储实现跨节点存储的方法和装置
CN106534317A (zh) * 2016-11-17 2017-03-22 杭州云象网络技术有限公司 一种基于区块链技术的灾备云存储系统构建方法
CN109522270A (zh) * 2018-10-19 2019-03-26 平安科技（深圳）有限公司 基于区块链的文件存读方法、电子装置及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103166991A (zh) * 2011-12-14 2013-06-19 中国电信股份有限公司 一种基于p2p和云存储实现跨节点存储的方法和装置
CN106534317A (zh) * 2016-11-17 2017-03-22 杭州云象网络技术有限公司 一种基于区块链技术的灾备云存储系统构建方法
CN109522270A (zh) * 2018-10-19 2019-03-26 平安科技（深圳）有限公司 基于区块链的文件存读方法、电子装置及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
优网中国: "优网边际云实验局上线，展现它的价值", pages 1 - 5, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/122397200> *
木偶人: "讲述优网边际云原理，解开实验局的神秘面纱", pages 1 - 6, Retrieved from the Internet <URL:https://baijiahao.baidu.com/s?id=1661312087444017113&wfr=spider&for=pc> *

Similar Documents

Publication Publication Date Title
CN113326317B (zh) 基于同构多链架构的区块链存证方法及系统
CN105282171B (zh) 一种安全可靠的分布式云存储方法
CN103763362B (zh) 一种安全的分布式重复数据删除方法
CN104580395B (zh) 一种基于现存云存储平台的多云协同存储中间件系统
US20180189520A1 (en) Provision of risk information associated with compromised accounts
Dev et al. An approach to protect the privacy of cloud data from data mining based attacks
CN106534164B (zh) 基于网络空间用户标识的有效虚拟身份刻画方法
CN106936771A (zh) 一种基于分级加密的安全云存储方法和系统
US11329817B2 (en) Protecting data using controlled corruption in computer networks
CN110138754B (zh) 一种多云端信息处理系统及其资源共享方法
Virvilis et al. Secure cloud storage: Available infrastructures and architectures review and evaluation
GB2489676A (en) Overlay network comprising management node controlling access of subordinate nodes
Doshi et al. A review paper on security concerns in cloud computing and proposed security models
CN112702379A (zh) 大数据安全之全密态检索研究
CN114880697A (zh) 基于区块链的数据指纹生成方法、装置和存储介质
Yuvaraj et al. Secure de-duplication over wireless sensing data using convergent encryption
Chowdhury et al. Secured blockchain based decentralised internet: a proposed new internet
CN114707166A (zh) 数据存储和读取方法、装置、设备及存储介质
Chen et al. [Retracted] A System for Trusted Recovery of Data Based on Blockchain and Coding Techniques
CN111723071A (zh) 一种分布式动态点化云存储技术
Du et al. Secure and verifiable keyword search in multiple clouds
Pramanick et al. A comparative survey of searchable encryption schemes
Bieniasz et al. SocialStegDisc: Application of steganography in social networks to create a file system
CN105721560A (zh) 统一会员中心用户登录密码安全存储系统及方法
CN112966310B (zh) 基于SQLite的细粒度数据完整性验证方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination