CN115150173B - 具有双向存储结构的去中心化数据云安全存储系统及方法 - Google Patents

具有双向存储结构的去中心化数据云安全存储系统及方法 Download PDF

Info

Publication number
CN115150173B
CN115150173B CN202210780802.3A CN202210780802A CN115150173B CN 115150173 B CN115150173 B CN 115150173B CN 202210780802 A CN202210780802 A CN 202210780802A CN 115150173 B CN115150173 B CN 115150173B
Authority
CN
China
Prior art keywords
data
storage
file
beginner
metafile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210780802.3A
Other languages
English (en)
Other versions
CN115150173A (zh
Inventor
汪彩梅
周子健
吴志泽
李正茂
卢建豪
闻琪略
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University
Original Assignee
Hefei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University filed Critical Hefei University
Priority to CN202210780802.3A priority Critical patent/CN115150173B/zh
Publication of CN115150173A publication Critical patent/CN115150173A/zh
Application granted granted Critical
Publication of CN115150173B publication Critical patent/CN115150173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0435—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply symmetric encryption, i.e. same key used for encryption and decryption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/06—Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • H04L63/067—Network architectures or network communication protocols for network security for supporting key management in a packet data network using one-time keys
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0869—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving random numbers or seeds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

具有双向存储结构的去中心化数据云安全存储系统及方法，涉及云存储领域与信息安全领域，由双向循环链式存储结构、基于资源证明的存储决策模型、链式结构动态锁定机制以及双向数据访问机制组成。通过前后数据块的哈希关联保障了数据的完整性，有效防止了数据的篡改，提高数据存储容量与数据存储的匹配度。以节点存储容量与节点间网络环境作为存储决策评估指标，以达到高效、低能耗与公平的存储决策。通过主动篡改正确数据指向，实现机密数据隐藏与访问控制。通过双向的数据访问机制，可大幅提高数据在去中心网络中的访问与获取效率。本发明显著提升去中心化数据存储安全性与存储效率，降低去中心化存储能源浪费与耗时。

Description

具有双向存储结构的去中心化数据云安全存储系统及方法
技术领域
本发明涉及云存储领域与信息安全领域，具体是涉及一种具有双向存储结构的去中心化数据云安全存储系统及方法。
背景技术
随着大数据技术的发展，人们的日常生活已离不开数据的驱动。为便利地使用数据并同时缓解本地存储空间的紧张，将数据迁移至云端成为了普遍的解决方案。这些迁移至云端的数据中包含大量涉及用户隐私或机密的数据，因此有效保障云端数据的安全存储是加速大数据技术发展的重要一环。
目前数据存储以中心化存储模式为主，然而中心化的存储模式存在着中心不可信或单点故障的问题，这些问题将严重影响云存储的数据安全，因此中心化的云存储模式并不适合于大数据时代的数据安全存储，一定程度上影响了大数据技术的发展。
自2008年，中本聪提出区块链后，激发了学术界与工业界对去中心化存储的研究兴趣。而以区块链为核心的去中心化存储模式，存在着存储容量小、数据存储普适性不高、共识机制能源与时间消耗高、决策公平性不足、数据隐私性不足、效率低等问题，因此去中心化的存储没有得到大规模。
为解决上述部分问题，如公开号为CN202111004376.6的中国专利公开了一种基于双层网络去中心化存储的区块链系统，包括去中心模块和区块链技术模块等多个模块。工作时，通过去中心化存储单元、智能合约单元、节点记录单元以及运行配置单元，区块链主链获取来自各区块链侧链的数据资料信息，并对全部的区域数据资料信息进行处理和存储，该发明基于区块链技术的云存储技术更加简洁易用、有效的降低成本且安全性能大幅度提升，但是该发明没有摆脱区块链底层技术所存在容量、效率等问题。又如公开号为CN202111050945.0的中国专利公开了一种去中心化数据存储系统，该发明包括节点网络和用户网络。工作时节点的存储空间逻辑上划分为主存区和备份区，主存区用于存放绑定用户的原数据，备份区用于存放其他用户的备份数据，根据相互距离选择每个节点的备份节点，用户数据经过分片、加密处理后，原数据存放在绑定节点的主存区，并在其他备份节点的备份区分片保存一份备份数据。该发明具有数据存储可靠性高，用户对数据可控性强的特点，但是通过地理位置选择节点的方式缺少对用户位置随机变化情况的考量。
发明内容
针对国内外对去中心化存储中存储容量小、数据存储普适性不高、共识机制能源与时间消耗高、决策公平性不足、数据隐私性不足、效率低等问题没有有效的解决方式。因此，本发明为解决当前去中心化数据云安全存储的相关问题，提出了一种具有双向存储结构的去中心化数据云安全存储系统及方法
为了实现上述目的，本发明所采用的技术方案为：
一种具有双向存储结构的去中心化数据云安全存储系统，由双向循环链式存储结构、基于资源证明的存储决策模型、链式结构动态锁定机制以及双向数据访问机制组成。
本发明围绕存储方式提出了一种双向的数据存储结构，从存储结构角度扩展数据存储容量，提高对数据存储的匹配度。为了确定在去中心化网络中某一数据块的存储权归属，提出了一种基于存储节点存储容量与节点网络环境的资源证明决策模型，可有效降低决策耗时与能源浪费，并同时提升数据安全性。针对数据隐私关联问题，提出了一种链式结构动态锁定技术，可有效隐藏以哈希值相互关联的数据之间的关系，一定程度上达到对数据访问控制的效果。为提升去中心化模式下的数据获取效率，提出了一种双向数据访问与获取技术，较传统的单向顺序访问方式，有效提高了对数据的访问效率。
与现有技术相比，本发明的有益效果表现在：
1、本发明设计了一种双向循环链式存储结构，以解决去中心化存储中的存储容量小与数据存储匹配度不高的问题。该结构通过前后数据块的哈希关联保障了数据的完整性，有效防止了数据的篡改，可提高数据存储容量与数据存储的匹配度。
2、本发明设计了基于资源证明的存储决策模型，以节点存储容量与节点间网络环境作为存储决策评估指标，以达到高效、低能耗与公平的存储决策。该模型可大幅度降低决策耗时，并弥补了当前类似模型没有考虑网络环境因素对存储的影响，此外该模型对存储节点的CPU与内存影响不明显，决策结果可体现低能耗、公平性与高时效性。
3、本发明设计的链式结构动态锁定机制，通过主动篡改正确数据指向，以实现机密数据隐藏与访问控制。可有效保护数据在去中心化存储中的机密性，且对类似的哈希链式具有普适性效果，可有效提升数据安全。
4、本发明参考了DNA双向复制特点，设计了一种双向的数据访问机制，可大幅提高数据在去中心网络中的访问与获取效率。
5、本发明具有双向存储结构的去中心化数据云安全存储方法，可有效解决当前去中心化云安全存储中的不足，显著提升去中心化数据存储安全性与存储效率，降低去中心化存储能源浪费与耗时，有效加速大数据技术发展。
附图说明
图1为本发明的双向循环链式存储结构的基本单元示意图。
图2为本发明的双向循环链式存储结构组成示意图，描述了结构基本单元直接的关联方式，链式结构的组成，链上数据检索方向以及数据链扩展方式。
图3为本发明的基于资源证明的存储决策模型基础流程示意图，解释了整体决策的基本步骤。
图4为本发明的链式动态锁定机制示意图，解释了数据块在解锁与锁定状态下的数据指向关系。
图5为本发明的数据去中心化存储与数据访问的时序图，解释了数据进行去中心化存储的基本步骤。
图6为本发明的双向数据访问机制的流程差解图，解释整个数据链访问情况的变化并对比了其所参照的DNA复制变化情况。
图7为数据处理时间图。
图8为数据处理速率图。
图9为不同分块量的数据数据处理速率。
图10为不同分块量的平均数据处理速率。
图11为同等条件数据块分布图。
图12为PoR决策时间图。
图13为CPU总占用率。
图14为内存总占用率。
图15为单双向两种方向耗时图。
图16为单双向数据获取两种方式数据处理速率。
图17为数据处理变化率。
具体实施方式
以下结合实施例和附图对本发明具有双向存储结构的去中心化数据云安全存储系统及方法作进一步详述：
实施例1
本发明首先提出对独立性数据的定义为，在任意数据集σ中，对于在σ中的任意数据元素α而言，除α内部逻辑关系δ外，不存在任何外部关系使得α与σ中其他元素直接关联，则称σ是一种独立数据。通过证明可得出区块链中所存储的数据为非独立数据，文件是一种独立数据。
请参阅图1、图2，本发明面向所定义的独立数据设计了一种双向循环链式存储结构，该结构的基础单元分为两个部分，分别是指针域与数据域。在指针域中有3个哈希指针，分别是前一数据块哈希值(previous_hash)、当前数据块哈希值(current_hash)以及下一个数据块哈希值(next_hash)；数据域则是该数据块在文件分块后所需要承载的数据。数据块之间通过指针域相联，而链与链之间相互独立，一条链便是一份文件。
为了在海量的去中心化存储节点中确定某一数据块存储权的归属，本发明设计了基于资源证明的存储决策模型(Proof of Resources)，该模型具有以下属性：
低能耗性，存储决策不要求高算力；时效性，能够较及时地达成共识；公平性，实现公平地决策，即不在某一节点过多存储一条链上的数据块。
该模型遵守以下准则：
节点需要共同维护一份节点文件，记录着节点在网络上的地址或域名；任意节点皆可参加数据块的存储，且在资源耗尽前都希望参与存储；如果将一个文件存储视为一个存储事件，那么在一个存储事件中一个节点存储的数据块量占总块量的比例不能超过一个阈值Rate。
在该决策模型中，对于一次存储事件具有用户角色与两种动态节点角色，动态角色分别是Beginner和Follower。Beginner是具有当前数据块存储权的节点，初始Beginner由用户选取，其余Beginner则通过参加上一个Beginner发起的竞选后最终由用户确认产生。Follower则是不具有当前数据块存储权的所有节点，但是可以与Beginner交互，参与由Beginner发起的下一个数据块存储权的竞选。
请参阅图3，假设有N个节点，一条链有M个数据块，选择存储节点的步骤包括预处理阶段、存储权竞选阶段以及数据存储检验与迭代存储3个阶段。
预处理阶段：该阶段主要完成对第一个Beginner的随机选取，分为三个阶段。
①节点文件更新：NF＝Update(H(NF))，用户将节点文件NF的哈希值与去中心化网络维护的节点文件进行比较，将节点文件更新至最新；
②随机选取初始Beginner：用户产生一个随机值，通过取模运算后得到Beginner序号Nidx，选取节点文件中第Nidx个节点为第一个Beginner；
③数据分块处理：在数据通过对称加密后的数据进行分块，将其分为M块数据。
④存储事件就绪通讯：用户通知Beginner节点就绪，并交给Beginner存储数据块Blocki，提供下一个数据块大小供Beginner发起选举。
存储权竞选阶段：在第一个Beginner确定好后，由该Beginner发起对下一个数据块的存储权竞选，该部分主要分为5步。
①Beginner发起节点存储竞选：Election(sizeof(Blocki+1))，由Beginner发起新数据块存储竞选，竞选对象为所有的Followers；
②Follower竞选响应：Takepart(freespace)，当竞选对象Follower收到竞选通知后，先判断是否满足新节点存储所需空间，若满足则发起竞选响应，响应内容为自己可供存储的空间freespace；
③节点评估：Judge(Follower i,freespace,RTT)，Beginner对第i个Follower的价值进行计算，将接收到的响应内容作为参数，与该响应RTT值作为竞选价值评估算法的参数，计算该Follower的Value值，该算法需要通过加权满足以下条件：
a.尽可能选择网络情况较好的服务器节点；
b.尽可能选取存储空间更多的服务器节点。
因此Value的计算公式为：其中freespace以Gb计，RTT以ms计。
④评估数据总处理：Beginner对所有节点Value进行排序，Value越高排序越靠前，Value相等时按照节点存储容量NC(Node Capacity)、RTT依次作为排序次关键字，再将排序结果发给用户。
⑤用户核验节点：CheckRate(Follower i)，从排序结果最高开始，依次进行公平性校验，若第i个Follower满足条件则停止校验，校验要求如下：
a.该节点是否存储过数据块，若未存储过则选中，否则优先下一个节点；
b.如果所有节点都存储过，则判断是否已经达到阈值rate；(Rate)
c.若所有节点都不满足比例要求，则交给Value最高的节点存储，同时提高rate值。
数据存储检验与迭代存储阶段：在一次竞选完成后，用户需要对新选中的Beginner发起通知并检验此次数据存储的有效性，该阶段分为三个步骤。
①二次存储事件就绪通讯：Upload(New_Beginner,Block i+1，sizeof(Blocki+2))，向新New_Beginner发送通知并开始新数据块存储；
②存储检验：CheckStore(Beginner,H(Block i))，Beginner完成存储后，用户向Beginner索取数据块哈希值进行比较，以保障数据块完整性并防止数据块虚假存储；
③循环处理：依次往复直至M个数块完成存储。
该决策模型实际决策权在用户方，虽然Beginner代替了用户发起了竞选并计算，但是Beginner并不知道下一个数据块实际存储位置，提高了数据的机密性。然而在没有进行保护的情况下，如果一个恶意节点它对所存储的数据块指针域进行解析，并通过冒充用户身份，可通过哈希指针非法获取到整条链的数据。
请参阅图4，为进一步提高数据机密性，并实现数据的访问控制，本发明设计了链式结构动态锁定机制。链式动态锁定机制将数据抽象成两个状态，即锁定与解锁状态。锁定状态下，则无法通过前后数据块的哈希值获取到完整数据链，如果需要进行数据获取操作，则需要使数据链的状态转为解锁状态。
状态转变的核心是在用户构造链式结构后，由用户主动篡改哈希指针的正确指向信息，将所有数据块的哈希指针改为一个地址为空或者错误的数据块。哈希值处理则是通过随机产生一个掩码Mask，并将哈希指针与掩码进行计算得到一个新的哈希值代替原来的哈希值Hashunlock，计算得到的新哈希值为锁定状态的哈希指针Hashlock。计算公式如下：
要从锁定状态转为解锁状态需要对锁定状态哈希与掩码再做一次异或运算即可，计算公式如下：
请参阅图5，实现本发明数据存储的方式主要分为三个阶段，分别是用户对文件的预处理、元文件的生成以及用户与存储节点P2P模式传输。
1、用户预处理阶段分为五个步骤：
①参数生成：首先生成密钥key和加锁掩码Mask，密钥是一个哈希值，由时间戳和待加密文件file的哈希值的混合产生，每一次所产生密钥具有随机性，一定程度上提高了数据的安全性，密钥可表示为key＝H(timestamp+H(file))。掩码与密钥类似，也是由时间戳等随机产生。
②数据加密：加密后的文件EF＝encrypt(file,key)，加密算法encrypt()的数据加密部分采用SM4对称密码算法。
③数据分块：对密文文件EF进行分块，分块量为N，得到数据块有序集Blocks＝{Blocki|i∈[1,N]}。
④密钥保护：在解密阶段密钥仍然需要使用，因此需要将密钥进行妥善保管。本发明主要是将密钥分组，通过loc()函数确定其在数据块中的位置并进行迭代存储，loc函数需要写入至元文件中，在loc函数默认计算输出为0，即存储在数据域头则可以不用写入。对于密钥的第i个字节与数据块的写入关系为：
⑤链式结构构造：完成密钥写入后，依次计算数据块哈希值，将数据块的指针域填充完整并与掩码Mask进行计算，将数据链转变为锁定状态，至此预处理步骤结束。
2、元文件的生成：
元文件Meta File的作用是实现文件与节点的基本映射，Meta File交给用户进行自主管理。需要还原一个文件一份元文件至少需要保留第一个Beginner的地址，第一个数据块的哈希值以及掩码Mask。
生成元文件阶段与数据存储阶段共存，而数据存储阶段生命周期大于生成元文件阶段，当第一个Beginner节点确定后，生成元文件的生命周期结束。
3、用户与存储节点P2P模式传输：
预处理完成后进入数据存储阶段，生成元文件阶段与数据存储阶段共存，而数据存储阶段生命周期大于生成元文件阶段，当第一个Beginner节点确定后，生成元文件的生命周期结束。
数据存储阶段按照PoR模型进行存储，是一个多P2P传输并发阶段。数据存储阶段期间，由于新Beginner和原Beginner之间不存在通讯，因此数据块之间传输相对独立，能够实现并发处理，加速数据传输效率。
去中心化的数据访问与获取是用户根据其所拥有的元文件，主动向去中心化网络发起获取元件中对应映射数据的过程，该过程主要分为解析元文件、锁定机制的解锁操作与数据获取以及数据拆解四个阶段，其中锁定机制的解锁操作与数据获取是两个同步进行的阶段。
1、元文件映射关系解析阶段执行以下操作：HB1＝H(Block1),Beginner,Mask←extract(Meta File)，即从元文件中提取出有序集Block中一个元素哈希值以及存储该数据块的Beginner节点和掩码Mask。
2、锁定机制的解锁操作与数据双向访问是从元文件中解析出第一个数据块HB1，以及存储节点Beginner的映射数据对<HB1,Beginner>，这个数据对代表了数据获取的起点。用户向Beginner索取哈希值为HB1的数据块后，利用掩码Mask将该数据块的指针域前后数据块哈希值还原至解锁状态，得到正确的指向关系。
请参阅图6，为了提高数据的访问效率，本发明将DNA双向复制思想引入到数据访问机制中，设计了双向数据访问与获取机制。该机制将每一个数据块视为一个脱氧核糖核酸，通过指向前后数据块的哈希指针双向获取数据块，以此提升在去中心化网络中获取数据的速率。
3、数据拆解可视作用户预处理阶段的逆过程，首先通过Meta File确定第一个数据块位置，通过loc()函数解析出key，在移除数据块指针域后按照还原出加密文件，通过解密还原出原始文件file。
本发明提出的具有双向存储结构的去中心化数据云安全存储系统，其框架安全性及数据安全性分析为：
框架安全性：
(1)数据块分布机密，在PoR模型保护下，连续数据块不会存储在同一节点中，存储相邻数据块的存储节点之间对数据块的关联具有不可知性；(2)数据块互联受限，在链式动态锁定机制下，存储节点无法获取到所存储数据块正确的指针域。同时仅用户具有Mask掩码，在数据访问上具有一定的控制限制；(3)节点存储量被动受限，在PoR模型中，通过设定阈值Rate限制了一条数据链在某一节点中的存储比例，一定程度上防范了节点故障的问题。
数据安全性：
(1)数据加密与高安全密码算法保护，本框架在数据初始化阶段采用SM4对称密码算法进行加密，该密码算法较国际主流AES、DES以及3DES等具有一定的安全优势。除此之外，在哈希计算上，全采用SM3杂凑密码算法，该算法在抗各类攻击方面具有较好的优势；(2)密钥与掩码的随机性，密钥与掩码通过随机函数产生，同一文件在随机的密钥与掩码保护下，可产生不同的密文；(3)根据哈希指针进行互联的数据块，由于哈希值由数据域计算得到且哈希值具有唯一性，强制绑定了数据链中数据块中指针域与数据域联系，使得数据无法被篡改。(4)在数据上传至去中心化网络前，通过掩码主动篡改实际逻辑关系，使得攻击者之间无法通过共谋篡改整个数据链数据。
通过对框架与框架中数据的安全性分析，可以得出本框架在满足较高的安全性，能够较安全地保障用户去中心化模式下的数据安全存储。
实施例2实验
1、实验环境
实验共采用47台相同配置的主机进行实验，主机参数如下表。这些主机都运行着存储节点的服务程序，其中一台还运行用户方的程序。本次实验对于加解密等计算密集的部分采用C语言实现，网络通信部分则使用Python完成，两者通过所生成动态链接库进行交互。
表1实验主机参数
参数名 值
处理器 Intel(R)Core(TM)i5-10505CPU@3.20GHz 3.19GHz
RAM 8.00GB
操作系统位数 64位操作系统,基于x64的处理器
操作系统 Windows 10专业版
磁盘可用空间 721GB
2、实验结果分析
2.1数据传输速率测试分析
实验设置PoR阈值rate值为0.1，数据分块量N为20，通过对0.5～100.5M的文件进行了实际测试，测试结果如图7所示。实验数据表明，随着文件大小的增加，文件上传的耗时随之增加，同时加密耗时占比逐渐提升，而传输耗时占比逐渐减小，最终两者趋于一个稳定的饱和状态。对一个100M数据完成全部处理的时间总花费为54.18秒，数据处理速率约为1890Kb/s，相较于利用区块链的参考文献(Pratima Sharma,Rajni Jindal,&Malaya DuttaBorah(2021).Blockchain-based decentralized architecture for cloud storagesystem.Journal of Information Security and Applications,62,102970.)处理20KB的数据花费了95秒的时间，在存储时效性上，有了显著的提升。图8表示的是数据的处理速率，图中曲线是呈总体上升趋势，但曲率在逐渐减小。因此不同的分块量N将会有着不同的饱和值。
在使N的取值范围为2至14后，同时保持其他参数不变的情况下测得数据处理速率如图9所示，可大致得出N与数据处理速率成反比。图9表明随着N的减小数据处理的速率越受网络等外部因素的影响而不稳定。
通过对不同分块量N的计算，得到平均的数据处理速率如图10所示。可明显得出随着分块量N的增加，数据平均处理速率较为平滑地减小，但结合图8和图9，不同的N仍然保持着图8的数据处理速率逐渐趋于饱和的趋势。
基于上述实验结果，建议对于文件大小小于20Mb或传输时效需求较高的情况下取N≤5；对于时效性要求不严格而更注重文件的安全性则建议选取N>5。
2.2PoR决策测试分析
本实验与2.1实验参数设置一致，通过对4454次数据块传输数据流向进行统计，结果如图11所示。结果显示，节点20至47数据块存储量明显低于节点1至节点19，说明在第一个Beginner选取上具有随机性。由于47台主机环境一致，因此各节点价值近似，由此导致了前19个节点存储较为集中，实验结果充分体现了PoR的决策公平性。
实验共对47台主机进行的8642次决策进行了监测，并计算得到PoR的平均决策时间为62.536毫秒，实验结果如图12所示。图中大多数监测都稳定在平均值之下，个别监测数据超过了0.5秒，但很少有超过1.5秒的情况。由于存储节点之间突发的网络不稳定造成个别决策时间与平均值相差较大。因此对于去中心化存储方式，必须要考虑到网络对存储事件的影响，PoR将网络环境加入节点评估标准，弥补了对网络环境考量的不足。
与此同时，在对47台主机决策检测过程中，进行了18138次主机状态自动监测，在除去错误数据后得到了如图13、14所示的结果。其中，图13表示检测过程中各CPU占用率的统计情况，图14则是各内存占用率的统计情况。通过抽取10台主机，进行了10分钟的空闲监测，计算得到CPU平均占用率为13.846％，内存平均占用率为35.656％。通过对比可得，PoR决策对CPU影响可忽略不计，对主机没有明显的影响。
上述实验结果既表明了PoR满足第一个存储节点随机选取，也表明在后续存储节点选取中可以实现公平选取。除此之外，该机制还大幅度降低了存储决策的耗时，提高了存储的时效性，同时还考虑了网络环境对存储的影响，通过对CPU的监测证明了这是一种低算力要求的决策机制。
2.3双向数据获取测试分析
对0.5至100.5M的数据进行了单双向的数据获取测试，测试结果如图15、16所示。图15是对两种数据获取方式的耗时检测，图16则是通过计算得到数据处理速率。由图15与16可以得出，在使用双向数据获取后数据获取耗时有明显的降低，同时有效提高了数据的处理速率。虽然图中单向数据获取方式由于网络的不稳定造成了曲线明显的抖动，但是没有影响到整体数据观测。
为更好分析实验结果，设f(x)为在当前环境下的数据处理耗时变化率，DATBi(x)是双向数据访问耗时计算函数，DATnormal(x)则是单向数据访问耗时计算函数，其中x为文件的大小。通过计算得到如图17和表2的计算结果，在本实验的操作环境下，较单向数据获取方式，双向的数据获取方式在数据处理速率上平均提高了38.243％。
表2变化率数据表
DAT(x)＝∑ti(x),i∈[transform,decrypt,other]
DAT数据处理函数由三个耗时计算函数ti(x)累和求得，三个耗时计算函数分别计算数据传输耗时、解密耗时以及其他操作耗时。双向数据访问仅能在理论上使得ttransform(x)在两种方式下的变化率为50％，由于时间网络等原因将导致该值趋近于0.5而不等于0.5，因此在tdecrypt(x)和tother(x)不变的情况下f(x)→0.5。然而实际情况中的tdecrypt(x)和tother(x)会由于网络、处理器状态等影响而变化，因此会出现图中超过50％的情况。
上述实验结果证明本发明采用双向数据访问方式后，有效降低了数据访问的耗时，提高了数据访问效率，更适合于时效性要求较高的数据存储环境。
以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (1)

1.具有双向存储结构的去中心化数据云安全存储方法，其特征在于，包括用户对文件的预处理、元文件的生成以及用户与存储节点P2P模式传输三个阶段；具体步骤如下：
一、用户预处理阶段：
①参数生成：首先生成密钥key和加锁掩码Mask，密钥是一个哈希值，由时间戳和待加密文件file的哈希值的混合产生，即key＝H(timestamp+H(file))，每一次所产生密钥具有随机性，一定程度上提高了数据的安全性；掩码与密钥类似，也是由时间戳随机产生；
②数据加密：加密后的文件EF＝encrypt(file,key)，加密算法encrypt()的数据加密部分采用SM4对称密码算法；
③数据分块：对密文文件EF进行分块，分块量为N，得到数据块有序集Blocks＝{Blocki|i∈[1,N]}；
④密钥保护：将密钥分组，通过loc()函数确定其在数据块中的位置并进行迭代存储，loc函数需要写入至元文件中，在loc函数默认计算输出为0，即存储在数据域头则不用写入；对于密钥的第i个字节与数据块的写入关系为：
⑤链式结构构造：完成密钥写入后，依次计算数据块哈希值，将数据块的指针域填充完整并与掩码Mask进行计算，将数据链转变为锁定状态，至此预处理步骤结束；
二、元文件的生成：
元文件Meta File的作用是实现文件与节点的基本映射，Meta File交给用户进行自主管理；需要还原一个文件一份元文件至少需要保留第一个Beginner的地址，第一个数据块的哈希值以及掩码Mask；
生成元文件阶段与数据存储阶段共存，而数据存储阶段生命周期大于生成元文件阶段，当第一个Beginner节点确定后，生成元文件的生命周期结束；
三、用户与存储节点P2P模式传输：
预处理完成后进入数据存储阶段，生成元文件阶段与数据存储阶段共存，而数据存储阶段生命周期大于生成元文件阶段，当第一个Beginner节点确定后，生成元文件的生命周期结束；
数据存储阶段按照PoR模型进行存储，是一个多P2P传输并发阶段；数据存储阶段期间，由于新Beginner和原Beginner之间不存在通讯，因此数据块之间传输相对独立，能够实现并发处理，加速数据传输效率；
去中心化的数据访问与获取是用户根据其所拥有的元文件，主动向去中心化网络发起获取元件中对应映射数据的过程，该过程主要分为解析元文件、锁定机制的解锁操作与数据获取以及数据拆解四个阶段，其中锁定机制的解锁操作与数据获取是两个同步进行的阶段；
①、元文件映射关系解析阶段执行以下操作：HB1＝H(Block1),Beginner,Mask←extract(Meta File)，即从元文件中提取出有序集Block中一个元素哈希值以及存储该数据块的Beginner节点和掩码Mask；
②、锁定机制的解锁操作与数据双向访问是从元文件中解析出第一个数据块HB1，以及存储节点Beginner的映射数据对<HB1,Beginner>，这个数据对代表了数据获取的起点；用户向Beginner索取哈希值为HB1的数据块后，利用掩码Mask将该数据块的指针域前后数据块哈希值还原至解锁状态，得到正确的指向关系；
双向数据访问与获取机制通过指向前后数据块的哈希指针双向获取数据块，以此提升在去中心化网络中获取数据的速率；
③、数据拆解可视作用户预处理阶段的逆过程，首先通过Meta File确定第一个数据块位置，通过loc()函数解析出key，在移除数据块指针域后按照还原出加密文件，通过解密还原出原始文件file。
CN202210780802.3A 2022-06-30 2022-06-30 具有双向存储结构的去中心化数据云安全存储系统及方法 Active CN115150173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210780802.3A CN115150173B (zh) 2022-06-30 2022-06-30 具有双向存储结构的去中心化数据云安全存储系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210780802.3A CN115150173B (zh) 2022-06-30 2022-06-30 具有双向存储结构的去中心化数据云安全存储系统及方法

Publications (2)

Publication Number Publication Date
CN115150173A CN115150173A (zh) 2022-10-04
CN115150173B true CN115150173B (zh) 2023-09-29

Family

ID=83410772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210780802.3A Active CN115150173B (zh) 2022-06-30 2022-06-30 具有双向存储结构的去中心化数据云安全存储系统及方法

Country Status (1)

Country Link
CN (1) CN115150173B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108055274A (zh) * 2017-12-22 2018-05-18 广东工业大学 一种基于联盟链存储数据的加密与共享方法及系统
CN109672521A (zh) * 2018-12-26 2019-04-23 贵州华芯通半导体技术有限公司 基于国密加密引擎实现的安全存储系统和方法
CN110866265A (zh) * 2019-11-19 2020-03-06 腾讯科技（深圳）有限公司 一种基于区块链的数据存储方法、设备及存储介质
CN111209262A (zh) * 2020-01-10 2020-05-29 浪潮天元通信信息系统有限公司 一种基于区块链的大规模分布式安全存储系统
CN111966757A (zh) * 2020-10-20 2020-11-20 支付宝(杭州)信息技术有限公司 智能合约账户的存储空间管理方法和装置
CN112035491A (zh) * 2020-09-30 2020-12-04 中山大学 基于区块链的数据存储方法、电子积分处理方法及系统
CN112836229A (zh) * 2021-02-10 2021-05-25 北京深安信息科技有限公司 属性基加密和区块链结合的可信数据访问控制方案
US11245528B1 (en) * 2018-11-19 2022-02-08 Protocol Labs, Inc. Protocols for decentralized networks
CN114338038A (zh) * 2021-12-27 2022-04-12 内蒙古科技大学 区块链数据保密查询的存储系统及不经意传输方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9973484B2 (en) * 2011-10-31 2018-05-15 Reid Consulting Group, Inc. System and method for securely storing and sharing information

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108055274A (zh) * 2017-12-22 2018-05-18 广东工业大学 一种基于联盟链存储数据的加密与共享方法及系统
US11245528B1 (en) * 2018-11-19 2022-02-08 Protocol Labs, Inc. Protocols for decentralized networks
CN109672521A (zh) * 2018-12-26 2019-04-23 贵州华芯通半导体技术有限公司 基于国密加密引擎实现的安全存储系统和方法
CN110866265A (zh) * 2019-11-19 2020-03-06 腾讯科技（深圳）有限公司 一种基于区块链的数据存储方法、设备及存储介质
CN111209262A (zh) * 2020-01-10 2020-05-29 浪潮天元通信信息系统有限公司 一种基于区块链的大规模分布式安全存储系统
CN112035491A (zh) * 2020-09-30 2020-12-04 中山大学 基于区块链的数据存储方法、电子积分处理方法及系统
CN111966757A (zh) * 2020-10-20 2020-11-20 支付宝(杭州)信息技术有限公司 智能合约账户的存储空间管理方法和装置
CN112836229A (zh) * 2021-02-10 2021-05-25 北京深安信息科技有限公司 属性基加密和区块链结合的可信数据访问控制方案
CN114338038A (zh) * 2021-12-27 2022-04-12 内蒙古科技大学 区块链数据保密查询的存储系统及不经意传输方法

Also Published As

Publication number Publication date
CN115150173A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
Luo et al. A novel covert communication method based on bitcoin transaction
CN110474892B (zh) 一种基于区块链技术的虚假数据注入攻击防御方法
CN116074123B (zh) 一种物联网数字信息安全传输的方法
Yu et al. Efficient continuous big data integrity checking for decentralized storage
CN115150173B (zh) 具有双向存储结构的去中心化数据云安全存储系统及方法
Huang et al. Workload-based randomization byzantine fault tolerance consensus protocol
Xu et al. Formalization and verification of kafka messaging mechanism using csp
Wels Guaranteed-TX: The exploration of a guaranteed cross-shard transaction execution protocol for Ethereum 2.0.
Cui et al. Power system real time data encryption system based on DES algorithm
CN115208604B (zh) 一种ami网络入侵检测的方法、装置及介质
Dotan et al. Proofs of Useless Work--Positive and Negative Results for Wasteless Mining Systems
CN114401116B (zh) 基于HK-Means和安全性检测的可信数据传输方法
Zhang et al. Encrypted and compressed key-value store with pattern-analysis security in cloud systems
Li et al. Research on the application of data encryption technology in communication security
Du et al. Secure and verifiable keyword search in multiple clouds
Hongyuan An external data integrity tracking and verification system for universal stream computing system framework
Rong et al. FRCR: Raft consensus scheme based on semi asynchronous federal reconstruction
Qin et al. Research on point-to-point encryption method of power system communication data based on block chain technology
Yang et al. Federated Medical Learning Framework Based on Blockchain and Homomorphic Encryption
Qin et al. A big data security architecture based on blockchain and trusted data cloud center
EP4008087A1 (en) Methods and devices for tracking and measuring proof-of-work contributions in a mining pool
Çiloğlu et al. A New Anomaly-Based Intrusion Detection System for MIL-STD-1553
Fan Research on Security Technology of Network Communication Information Based on Double Encryption
Zhang et al. Research on Self-Adaptive Consensus Method Based on Blockchain
Deng et al. A security multi-dimensional range query protocol based on left 0-1 encoding in two-tiered wireless sensor networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant