CN112134914B - 一种基于密码学的分布式安全存储策略 - Google Patents

一种基于密码学的分布式安全存储策略 Download PDF

Info

Publication number
CN112134914B
CN112134914B CN202010084962.5A CN202010084962A CN112134914B CN 112134914 B CN112134914 B CN 112134914B CN 202010084962 A CN202010084962 A CN 202010084962A CN 112134914 B CN112134914 B CN 112134914B
Authority
CN
China
Prior art keywords
data
block
file
metadata
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010084962.5A
Other languages
English (en)
Other versions
CN112134914A (zh
Inventor
蔡维德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tiande Technology Co ltd
Original Assignee
Beijing Tiande Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tiande Technology Co ltd filed Critical Beijing Tiande Technology Co ltd
Priority to CN202010084962.5A priority Critical patent/CN112134914B/zh
Publication of CN112134914A publication Critical patent/CN112134914A/zh
Application granted granted Critical
Publication of CN112134914B publication Critical patent/CN112134914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0618—Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种基于密码学的分布式安全存储策略，可应用于区块链领域和操作系统领域等，其具体步骤如下：（1）数据文件被分成n块数据，数据将被重组成n/k块数据块，其中，n、k为可配置正整数值；（2）根据（2a）至（2c）算法对数据块进行重新排列，直到所有数据块完成处理：（2a）将第i块数据块经过公钥加密后放入第i块加密数据块中的第一部分；（2b）将i+m*n/k块数据块经过公钥加密后放入第一块数据块的第m+1部分（0<m<k）；（2c）若n%k!=0,对于剩余数据，按顺序组成第（n/k）+1块加密数据块；（3）步骤2完成后得到n/k或（n/k）+1个加密数据块；（4）在每一块加密数据块后加入乱码数据块，进一步保证数据的安全性。

Description

一种基于密码学的分布式安全存储策略
技术领域
本发明属于密码学领域及分布式存储领域，特别涉及到分布式存储的存储策略，以及将非对称加密算法应用到分布式存储的相关技术，以保证数据的安全性。
背景技术
在分布式系统中，传统的分布式系统如HDFS的存储策略如图1所示。HDFS把数据分成若干个128MB大小的块进行存储，典型的情况每块数据将有3个副本，第一个副本存储在本机，第二个存储在相同机架的随机机器上，第3块副本存储在相邻机架的机器上，传统的分布式存储策略有如下缺点：
（1）数据块内容具有连续性，如果要存储的文件大小小于128M，则一个数据块副本就是一个完整的文件，如果文件大于128M，那一个数据副本也是文件中一块连续的数据块，如果没有权限的用户想窃取数据，只需遍历该数据存放的机架上的所有存储即可获得全部数据或部分连续数据。
（2）数据安全性没有保证，传统的分布式系统的数据没有对数据进行加解密。
发明内容
本发明阐述了一种基于密码学的分布式安全存储策略，可应用于区块链领域和操作系统领域等。
本发明提出了一种基于密码学的分布式安全存储策略，其具体步骤如下：
（1）数据文件被分成n块数据，数据将被重组成n/k块数据块，其中，n、k为可配置正整数值；
（2）根据（2a）至（2c）算法对数据块进行重新排列，直到所有数据块完成处理：
（2a）将第i块数据块经过公钥加密后放入第i块加密数据块中的第一部分；
（2b）将i+m*n/k块数据块经过公钥加密后放入第一块数据块的第m+1部分（0<m<k）；
（2c）若n%k!=0,对于剩余数据，按顺序组成第（n/k）+1块加密数据块；
（3）步骤2完成后得到n/k或（n/k）+1个加密数据块；
（4）在每一块加密数据块后加入乱码数据块，进一步保证数据的安全性。
进一步地，本发明不改变分布式存储的存储架构，仅改变存储策略以及数据组织形式。
进一步地，n值由文件数据大小以及当前存储情况动态确定，k值由拥有该数据的用户确定，并经过公钥加密后存储，只有掌握私钥的用户才能解密k值，数据具有较高的安全性。
优选地，k值经过公钥加密后可存储在区块链中，用来保证数据不被篡改。
优选地，在现有分布式文件系统中增加一个分片重组加解密服务器，使用硬件GPU加速技术加快数据的加解密速度，在一定程度上分担元数据服务器的负担。
在一个实施例中，本发明所述安全存储策略应用于传统分布式存储架构进行存储。要实现本发明所述安全存储策略，中心节点管理元数据的分布式存储系统的元数据结构也需要与之匹配。元数据结构如图3所示，由数据文件名、数据大小、数据分块n、加密数据块位置列表组成。
进一步地，数据文件名为原始数据文件的文件名，用户依据文件名索引文件。
进一步地，数据大小记录数据文件的存储大小。
进一步地，数据分块n为数据文件分块块数，由数据文件大小以及文件系统存储情况动态决定。
进一步地，加密数据块位置列表为数据文件经过分片重组加密后的加密数据块的位置列表。
在一个实施例中，本发明所述安全存储策略应用于元数据与数据共同存储的分布式存储系统，该存储系统基于内容的哈希进行寻址。数据结构如图4所示，包含数据哈希、数据大小、下一块数据块哈希、加密数据块四个部分。
本发明具有如下的突出优势：
（1）数据分片重组，加入非对称加密算法进行分布式数据的加解密，在数据中加入乱码，这三种机制共同作用极大地提高了数据的安全性，在现有的分布式文件系统以及软Raid磁盘阵列中未使用过这样的设计。
（2）在数据块中加入乱码，乱码占比越高，数据安全性越高。乱码度可进行调整，例如从10% 调整到90%，用来增加安全性。
（3）本发明既适用于有元数据结构的分布式存储系统，也适用于没有元数据设计的分布式存储系统。
（4）即便有用户窃取了数据块以及私钥，但由于不知道k值，也无法获取正确的数据，数据安全性有了进一步的保证。
附图说明
图1为传统的分布式系统HDFS的存储策略示意图；
图2为本发明提出的一种基于密码学的分布式安全存储策略当n=6,k=3时的示意图；
图3为本发明提出的一个传统分布式存储系统实施例中元数据结构示意图；
图4为本发明提出的一个元数据与数据共同存储的分布式存储系统实施例中数据结构示意图；
图5为本发明提出的传统分布式存储架构实施例中存储架构示意图；
图6为本发明提出的传统分布式存储架构实施例中写数据步骤示意图；
图7为本发明提出的传统分布式存储架构实施例中读数据步骤示意图；
图8为本发明提出的元数据与数据共同存储的分布式存储架构实施例中存储架构示意图。
具体实施案例
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
第一个实施例使用传统的分布式存储架构进行存储。增加一台服务器进行数据的加解密以及分片重组工作，存储架构如图5所示。
元数据服务器主要负责存储数据的元数据信息，分片重组加解密服务器主要负责进行数据的分片重组以及加解密工作，数据服务器负责存储经过加密后的数据块。
如图6所示，写数据步骤如下：
（1）客户端向元数据服务器提出数据写入请求；
（2）元数据服务器根据数据文件大小以及当前存储情况确定数据文件分块块数n，将n和k（由客户端用户提交）以及文件信息传输给分片重组加解密服务器；
（3）分片重组加解密服务器根据n和k以及数据文件信息将数据文件进行分片并重组成数据块，根据用户的公钥加密，并加入乱码后存入数据服务器；
（4）数据服务器返回数据写入操作完成的信息；
（5）分片重组加解密服务器将各个数据块的数据存储情况反馈给元数据服务器；
（6）元数据服务器创建该数据文件的元数据表并存储该表。
如图7所示，读数据步骤如下：
（1）客户端向元数据服务器提出读文件请求；
（2）元数据服务器查询元数据表获得数据文件的分片信息；
（3）元数据服务器将数据文件的分片信息传输给分片重组加解密服务器；
（4）分片重组加解密服务器根据文件的分片信息获得数据文件块进行解密后重构成原始数据文件；
（5）分片重组加解密服务器将原始数据文件反馈给客户端。
第二个实施例使用元数据与数据共同存储的分布式存储系统，存储架构如图8所示。用户提交请求后，分片重组加解密服务器在处理好数据后使用一致性哈希算法进行数据的存储工作。
虽然本发明已经参考特定的说明性实施例进行了描述，但是不会受到这些实施例的限定而仅仅受到附加权利要求的限定。本领域技术人员应当理解可以在不偏离本发明的保护范围和精神的情况下对本发明的实施例能够进行改动和修改。

Claims (1)

1.一种基于密码学的分布式安全存储方法，其特征为，基于密码学的分布式安全存储方法应用于区块链领域、操作系统领域以及元数据与数据共同存储的分布式存储系统领域，不改变分布式存储的存储架构，仅改变存储策略以及数据组织形式，所述安全存储方法应用于传统分布式存储架构进行存储，所述基于密码学的分布式安全存储方法包括如下步骤：
(1)数据文件被分成n块数据，数据将被重组成n/k块数据块，其中，n、k为可配置正整数值，n值为数据文件分块块数，由文件数据大小以及当前存储情况动态确定，k值由拥有该数据的用户确定，k值经过公钥加密后存储在所述区块链中，只有掌握私钥的用户才能解密k值；
(2)根据(2a)至(2c)算法对数据块进行重新排列，直到对所有所述数据块完成处理：
(2a)将第i块数据块经过公钥加密后放入第i块加密数据块中的第一部分；
(2b)将i+m*n/k块数据块经过公钥加密后放入第一块数据块的第m+1部分，其中0＜m＜k；
(2c)若n％k！＝0，对于剩余数据，按顺序组成第(n/k)+1块加密数据块；
(3)步骤(2)完成后得到n/k或(n/k)+1个加密数据块；
(4)在每一块所述加密数据块后加入乱码数据块，进一步保证数据的安全性，其中所述乱码数据块中的乱码比例可以动态调整，乱码占比越高，数据安全性越高；
所述基于密码学的分布式安全存储方法使用数据分片重组、密码学算法进行数据加解密，并在所述数据中加入乱码三种机制提高数据的安全性；
当所述基于密码学的分布式安全存储方法应用于中心节点管理元数据的传统分布式存储系统进行存储时，所述传统分布式存储系统的元数据结构与所述基于密码学的分布式安全存储方法匹配，所述元数据结构由数据文件名、数据大小、数据分块n和加密数据块位置列表组成；所述数据文件名为原始数据文件的文件名，用户依据文件名索引文件；所述数据大小用于记录数据文件的存储大小；所述数据分块n为数据文件分块块数，由数据文件大小以及文件系统存储情况动态决定；所述加密数据块位置列表为数据文件经过分片重组加密后的加密数据块的位置列表；增加一台分片重组加解密服务器进行数据的加解密以及分片重组工作，使用硬件GPU加速技术加快数据的加解密速度，分担元数据服务器的负担，元数据服务器负责存储数据的元数据信息，分片重组加解密服务器负责进行数据的分片重组以及加解密工作，数据服务器负责存储经过加密后的数据块；其中写数据步骤如下：
(1)客户端向元数据服务器提出数据写入请求；
(2)元数据服务器根据数据文件大小以及当前存储情况确定数据文件分块块数n，将由客户端用户提交的n和k以及文件信息传输给分片重组加解密服务器；
(3)分片重组加解密服务器根据n和k以及数据文件信息将数据文件进行分片并重组成数据块，根据用户的公钥加密，并加入乱码后存入数据服务器；
(4)数据服务器返回数据写入操作完成的信息；
(5)分片重组加解密服务器将各个数据块的数据存储情况反馈给元数据服务器；
(6)元数据服务器创建该数据文件的元数据表并存储该表；
读数据步骤如下：
(1)客户端向元数据服务器提出读文件请求；
(2)元数据服务器查询元数据表获得数据文件的分片信息；
(3)元数据服务器将数据文件的分片信息传输给分片重组加解密服务器；
(4)分片重组加解密服务器根据文件的分片信息获得数据文件块进行解密后重构成原始数据文件；
(5)分片重组加解密服务器将原始数据文件反馈给客户端；
当所述基于密码学的分布式安全存储方法应用于元数据与数据共同存储的分布式存储系统，所述元数据与数据共同存储的分布式存储系统基于内容的哈希进行寻址，所述元数据与数据共同存储的分布式存储系统的数据结构包含数据哈希、数据大小、下一块数据块哈希以及加密数据块四个部分；用户提交请求后，分片重组加解密服务器在处理好数据后使用一致性哈希算法进行数据的存储工作。
CN202010084962.5A 2020-02-10 2020-02-10 一种基于密码学的分布式安全存储策略 Active CN112134914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010084962.5A CN112134914B (zh) 2020-02-10 2020-02-10 一种基于密码学的分布式安全存储策略

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010084962.5A CN112134914B (zh) 2020-02-10 2020-02-10 一种基于密码学的分布式安全存储策略

Publications (2)

Publication Number Publication Date
CN112134914A CN112134914A (zh) 2020-12-25
CN112134914B true CN112134914B (zh) 2021-08-06

Family

ID=73850175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010084962.5A Active CN112134914B (zh) 2020-02-10 2020-02-10 一种基于密码学的分布式安全存储策略

Country Status (1)

Country Link
CN (1) CN112134914B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153836A (zh) * 2021-07-15 2022-03-08 北京天德科技有限公司 一种基于区块链的加密分片重组数据存储方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101202624A (zh) * 2007-12-24 2008-06-18 北京创毅视讯科技有限公司 一种文件传输的方法及系统
CN102148798A (zh) * 2010-02-04 2011-08-10 上海果壳电子有限公司 大容量数据包的高效并行安全加解密方法
CN103440244A (zh) * 2013-07-12 2013-12-11 广东电子工业研究院有限公司 一种大数据存储优化方法
CN108881276A (zh) * 2018-07-10 2018-11-23 北京贞宇科技有限公司 数据加密传输方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070101124A1 (en) * 2005-07-15 2007-05-03 Pitts William M Secure provisioning of digital content
US8582765B2 (en) * 2007-08-01 2013-11-12 Stmicroelectronics S.A. Masking of data in a calculation
US20120317279A1 (en) * 2011-06-08 2012-12-13 Thomas Love System for scaling a system of related windows-based servers of all types operating in a cloud system, including file management and presentation, in a completely secured and encrypted system
CN102194014A (zh) * 2011-06-28 2011-09-21 无锡永中软件有限公司 文档存储方法和文档恢复方法
CN103139222B (zh) * 2013-03-19 2016-12-28 成都卫士通信息产业股份有限公司 一种ipsec隧道数据传输方法及装置
CN103279693B (zh) * 2013-05-30 2016-02-17 付弦 一种文件加密方法
CN106559413A (zh) * 2016-10-19 2017-04-05 深圳众享互联科技有限公司 P2p网络数据安全传输的消息碎片方法及其系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101202624A (zh) * 2007-12-24 2008-06-18 北京创毅视讯科技有限公司 一种文件传输的方法及系统
CN102148798A (zh) * 2010-02-04 2011-08-10 上海果壳电子有限公司 大容量数据包的高效并行安全加解密方法
CN103440244A (zh) * 2013-07-12 2013-12-11 广东电子工业研究院有限公司 一种大数据存储优化方法
CN108881276A (zh) * 2018-07-10 2018-11-23 北京贞宇科技有限公司 数据加密传输方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Symmetric encryption algorithm using graph representation;Safaa Hraiz;《IEEE》;20170518;全文 *
基于分块压缩感知和改进幻方变换的图像加密;胡克亚;《激光技术》;20181221;全文 *

Also Published As

Publication number Publication date
CN112134914A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
US11783056B2 (en) Systems and methods for cryptographic-chain-based group membership content sharing
CN110337649B (zh) 用于搜索模式未察觉的动态对称可搜索加密的方法和系统
US9992014B2 (en) Methods for cryptographic delegation and enforcement of dynamic access to stored data
US9043595B2 (en) Selective shredding in a deduplication system
US6049612A (en) File encryption method and system
US4776011A (en) Recursive key schedule cryptographic system
US20100232604A1 (en) Controlling access to content using multiple encryptions
US20100268966A1 (en) Efficient and secure data storage utilizing a dispersed data storage system
US20020073326A1 (en) Protect by data chunk address as encryption key
EP3688955B1 (en) Secure storage of data through encryption and segmentation
EP2103032B1 (en) Privacy enhanced comparison of data sets
JP2007299088A (ja) データ保護システム、方法及びプログラム
CN114153374B (zh) 一种元数据与数据共同存储的分布式存储系统
CN111310222A (zh) 文件加密方法
CN110704858A (zh) 一种分布式环境下数据安全存储方法以及系统
US8694798B2 (en) Generating and securing multiple archive keys
US8364979B1 (en) Apparatus, system, and method to efficiently search and modify information stored on remote servers, while hiding access patterns
CN112134914B (zh) 一种基于密码学的分布式安全存储策略
CN1454351A (zh) 编辑/恢复电子信息的方法
WO2008065351A1 (en) Self encryption
US11580091B2 (en) Method of ensuring confidentiality and integrity of stored data and metadata in an untrusted environment
GB2446200A (en) Encryption system for peer-to-peer networks which relies on hash based self-encryption and mapping
CN114153836A (zh) 一种基于区块链的加密分片重组数据存储方法及系统
JP3815107B2 (ja) 共通鍵を用いた暗号化ファイルの生成方法及び閲覧方法
CN112966294B (zh) 一种单轮交互的链表oram访问方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant