CN108769036A - 基于云系统的数据处理系统和处理方法 - Google Patents

基于云系统的数据处理系统和处理方法 Download PDF

Info

Publication number
CN108769036A
CN108769036A CN201810564656.4A CN201810564656A CN108769036A CN 108769036 A CN108769036 A CN 108769036A CN 201810564656 A CN201810564656 A CN 201810564656A CN 108769036 A CN108769036 A CN 108769036A
Authority
CN
China
Prior art keywords
data
slice
cloud
data processing
access equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810564656.4A
Other languages
English (en)
Other versions
CN108769036B (zh
Inventor
毛伟力
聂金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Decimal Network Co Ltd
Original Assignee
Zhejiang Decimal Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Decimal Network Co Ltd filed Critical Zhejiang Decimal Network Co Ltd
Priority to CN201810564656.4A priority Critical patent/CN108769036B/zh
Publication of CN108769036A publication Critical patent/CN108769036A/zh
Application granted granted Critical
Publication of CN108769036B publication Critical patent/CN108769036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种基于云系统的数据处理系统包括：第一用户端设备，第一用户端设备用于对原始数据进行加密，形成加密数据和分解加密数据为N个切片数据；若干云端服务器，能与第一用户端设备构成数据交互；其中第一用户端设备将N个切片数据分别存储至不同的云端服务器。本发明还公开了一种基于以上系统的数据处理方法。本发明的有益之处在于提供了一种通过分散存储从而提高了安全性和隐私性的基于云系统的数据处理系统和方法。

Description

基于云系统的数据处理系统和处理方法
技术领域
本发明涉及一种数据处理系统和处理方法，具体涉及一种基于云系统的数据处理系统和处理方法。
背景技术
基于云系统数据存储和传输会导致严重的安全性和可靠性问题，即使加密系统是可用的，仍存在各种危险。
从一个将数据保存在某个服务器上的用户的角度考虑，通过对文件进行加密并妥善保管加密/解密密钥，用户可以确保敏感信息的机密性不会传达给错误的人员，或者IT经理对服务器的使用不恰当。
因此，在这些情况下，数据可能会被意外删除，物理破坏或删除。
发明内容
一种基于云系统的数据处理系统包括：第一用户端设备，第一用户端设备用于对原始数据进行加密，形成加密数据和分解加密数据为N个切片数据；若干云端服务器，能与第一用户端设备构成数据交互；其中第一用户端设备将N个切片数据分别存储至不同的云端服务器。
进一步地，第一用户端设备在对原始数据加密时，加密的秘钥是随机生成的。
进一步地，第一用户端设备在分解加密数据为切片数据时为每个切片数据计算哈希值；将每个切片数据对应它的哈希值关联在一起。
进一步地，第一用户端设备分解加密数据为N个切片数据时将原始数据的全部信息记载在M个储存于多个云端服务器的切片数据中；其中，M<N。
进一步地，第一用户端设备分解加密数据为N个切片数据时将原始数据的全部信息记载在M个切片数据中；其中，M与N的比值的取值范围为45％至80％。
进一步地，云端服务器的数目大于等于3。
进一步地，云端服务器彼此之间数据隔离。
进一步地，云端服务器为奇数个；切片数据以不同比例存储于不同的云端服务器。
进一步地，基于云系统的数据处理系统还包括：第二用户端装置，用于从不同的云端服务器下载M个切片数据，基于M个切片数据重建加密数据和解密加密数据。
一种基于云系统的数据处理方法包括：对原始数据进行加密，形成加密数据；分解加密数据为N个切片数据；将N个切片数据分别存储至不同的云端服务器。
本发明的有益之处在于：
提供了一种通过分散存储从而提高了安全性和隐私性的基于云系统的数据处理系统。
附图说明
图1是本发明的数据处理方法的一个优选实施例的步骤示意框图；
图2是本发明的数据处理方法的数据流的示意框图；
图3是本发明的数据处理系统的一个优选实施例的结构示意框图。
具体实施方式
如图1至图3所示，基于云系统的数据处理方法包括：对原始数据进行加密，形成加密数据；分解加密数据为N个切片数据；将N个切片数据分别存储至不同的云端服务器。原始数据以及加密数据的用户端设备与云端设备之间是构成通讯连接的，它们之间通过地址共享进行通讯。
由以上可知，本发明的数据处理方法包括三个安全级别：加密、切片和散列算法。
具体而言，在对原始数据加密时，加密的秘钥是随机生成的。加密的秘钥是随机生成的或用户可以自己添加秘钥，如果加密秘钥是随机生成的，管理员或用户可以对秘钥进行管理，但秘钥是用户自己添加的，该秘钥由户自己保管，管理员不提供保管。加密秘钥可以由用户所使用的终端或管理员所使用的终端进行管理和保护。
具体而言，在分解加密数据为切片数据时为每个切片数据计算哈希值。并且，将哈希值与切片数据关联在一起。这样的好处在于进一步提高了数据的安全性，同时，哈希值能帮助校验数据的完整性。
具体而言，分解加密数据为N个切片数据时将原始数据的全部信息记载在M个切片数据中；其中，M<N。这样可以从至少任意M个切片数据来重组加密数据。
具体而言，分解加密数据为N个切片数据时将原始数据的全部信息记载在M个切片数据中；其中，M与N的比值的取值范围为45％至80％。
具体而言，云端服务器的数目大于等于2。云端服务器包括2种或2种以上的安全策略。将我们的协议算法应用于用户数据将克服数据泄漏和损坏的问题。此外，用户现在可以存储分散的切片数据，从而产生至少三个不同的CSP(云提供商，下同)，从而即使一个CSP被黑客攻击或一个服务器停止服务，用户也可以从其他CSP恢复文件。
解码过程包含三个安全级别：验证，重构，解密。
验证：在解码过程中，首先是验证步骤，该步骤包括检查文件的完整性，并打散重建文件所需的M个正确的切片数据。在切片损坏的情况下，将显示验证消息，并且相应的切片数据将被丢弃并由另一个替换。
重建：验证步骤完成后，系统使用M个经过验证的切片数据重建原始加密数据文件。
解密：最后系统恢复具有加密密钥的原始数据文件。
密钥管理：用于加密和解密数据的密钥由用户或管理员管理。秘钥即可以随机生成或由用户提供。因此，使用这种算法，对手不能修改截获的一段数据，也不能产生错误的消息。
具体而言，云端服务器为奇数个；切片数据以不同比例存储于不同的云端服务器，有效切片数据也可以是不同比例的存在于不同的云端服务器。
当然云端服务器也可以偶数个，而且每个服务器存储的切片数据的数目相同，有效切片数据的数据(即用于还原有效的切片数据，排除那些冗余数据)也可以相同。
具体而言，基于云系统的数据处理方法包括：从不同的云端服务器下载M个切片数据；基于M个切片数据重建加密数据；解密加密数据。
另外，在我们的方案中，用户与源/目标云之间的通信通过目标API完成。用户必须设置每个相应目标云的凭证。然后，根据软件的默认或高级配置，数据将被编码。这是用户能够完全控制数据的前提。
由于数据在传输过程中受到安全的Socket层或传输层安全性(SSL/TLS)协议适配器的保护，因此原本在传输中捕获数据的攻击者将得不到任何有用的信息。即使他成功捕捉到数据，也不能读取内容，这使我们的解决方案免受被动攻击。
我们协议中的加密过程有助于防范主动攻击者。攻击者可能会将自己作为目标来源，反之亦然，但他无法加密/解密必要的元数据，因此攻击失败。而且，通过分散数据也可以实现机密性。为了更加明确，假设攻击者通过窃听获得了M条数据并试图重建原始文件。由于在编码过程中，每个原始的切片数据文件都已经签名，所以很难重构，即使他成功地重构了数据，他也需要解密重构的文件。只有数据所有者才能够解密文件并查看包含，因为用户对加密密钥有完全的控制权。此外，任何云提供商都将无法查看或重建数据，因为该文件也是静态编码的。
完整性是通过填充(连接)到每个片数据的相应散列值来实现的。试图编辑数据切片将完全无用。这样，在重组步骤期间，每个损坏的片段将被自动丢弃。另外，我们的框架在传输过程中提供了高容错和纠错功能。
实用性是通过分散并将结果数据切片存储在可以在地理上分散的多个独立存储节点来实现的。这种驱动器可靠性无需复制因此，用这种方案，用户不必担心在下载数据时是否存在不可用的CSP；用户文件可以从剩余的一个中恢复。
如图3所示，在以上数据处理方法的基础上，介绍一种一种基于云系统的数据处理系统包括：第一用户端设备，第一用户端设备用于对原始数据进行加密，形成加密数据和分解加密数据为N个切片数据；若干云端服务器，能与第一用户端设备构成数据交互；其中第一用户端设备将N个切片数据分别存储至不同的云端服务器。
具体而言，第一用户端设备在对原始数据加密时，加密的秘钥是随机生成的。
具体而言，第一用户端设备在分解加密数据为切片数据时为每个切片数据计算哈希值。
具体而言，第一用户端设备将切片数据与哈希值对应地关联在一起。
具体而言，第一用户端设备分解加密数据为N个切片数据时将原始数据的全部信息记载在M个储存于多个云端服务器的切片数据中；其中，M<N。
具体而言，第一用户端设备分解加密数据为N个切片数据时将原始数据的全部信息记载在M个切片数据中；其中，M与N的比值的取值范围为45％至80％具体而言该数值为60％。
具体而言，云端服务器的数目大于等于2。
具体而言，云端服务器彼此之间数据隔离。
具体而言，云端服务器为奇数个；切片数据以不同比例存储于不同的云端服务器。
具体而言，基于云系统的数据处理系统还包括：
第二用户端装置，用于从不同的云端服务器下载M个切片数据，基于M个切片数据重建加密数据和解密加密数据。
或者，作为扩展方案，第二用户端装置为管理员使用的装置，第一用户端装置和第二用户端装置通过数据交互将秘钥有第一用户装置传递至第二用户装置。
另外，作为另一种方案，可以将秘钥作为原始数据进行加密，而秘钥的加密文件秘钥可以是一个秘钥也可以是多个存储在不同终端秘钥，比如有管理员和用户分别掌握的秘钥。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种基于云系统的数据处理系统，其特征在于：
所述基于云系统的数据处理系统包括：
第一用户端设备，所述第一用户端设备用于对原始数据进行加密，形成加密数据和分解所述加密数据为N个切片数据；
若干云端服务器，能与所述第一用户端设备构成数据交互；
其中所述第一用户端设备将N个所述切片数据分别存储至不同的云端服务器。
2.根据权利要求1所述的基于云系统的数据处理系统，其特征在于:
所述第一用户端设备在对所述原始数据加密时，加密的秘钥是随机生成或自己设置秘钥的。
3.根据权利要求1所述的基于云系统的数据处理系统，其特征在于:
所述第一用户端设备在分解所述加密数据为所述切片数据时为每个所述切片数据计算哈希值；将每个所述切片数据对应它的哈希值关联在一起。
4.根据权利要求1所述的基于云系统的数据处理系统，其特征在于:
所述第一用户端设备分解所述加密数据为N个所述切片数据时将原始数据的全部信息记载在M个储存于多个所述云端服务器的切片数据中；其中，M<N。
5.根据权利要求1所述的基于云系统的数据处理系统，其特征在于:
所述第一用户端设备分解所述加密数据为N个所述切片数据时将原始数据的全部信息记载在M个所述切片数据中；其中，M与N的比值的取值范围为45％至80％。
6.根据权利要求1所述的基于云系统的数据处理系统，其特征在于:
所述云端服务器的数目大于等于3。
7.根据权利要求1所述的基于云系统的数据处理系统，其特征在于:
所述云端服务器彼此之间数据隔离。
8.根据权利要求1所述的基于云系统的数据处理系统，其特征在于:
所述云端服务器为奇数个；所述切片数据以不同比例存储于不同的所述云端服务器。
9.根据权利要求1所述的基于云系统的数据处理系统，其特征在于:
所述基于云系统的数据处理系统还包括：
第二用户端装置，用于从不同的所述云端服务器下载M个所述切片数据，基于M个所述切片数据重建所述加密数据和解密所述加密数据。
10.一种基于云系统的数据处理方法，其特征在于:
所述基于云系统的数据处理方法包括：
对原始数据进行加密，形成加密数据；
分解所述加密数据为N个切片数据；
将N个所述切片数据分别存储至不同的云端服务器。
CN201810564656.4A 2018-06-04 2018-06-04 基于云系统的数据处理系统和处理方法 Active CN108769036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810564656.4A CN108769036B (zh) 2018-06-04 2018-06-04 基于云系统的数据处理系统和处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810564656.4A CN108769036B (zh) 2018-06-04 2018-06-04 基于云系统的数据处理系统和处理方法

Publications (2)

Publication Number Publication Date
CN108769036A true CN108769036A (zh) 2018-11-06
CN108769036B CN108769036B (zh) 2021-11-23

Family

ID=64002512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810564656.4A Active CN108769036B (zh) 2018-06-04 2018-06-04 基于云系统的数据处理系统和处理方法

Country Status (1)

Country Link
CN (1) CN108769036B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505228A (zh) * 2019-08-23 2019-11-26 上海宽带技术及应用工程研究中心 基于边缘云架构的大数据处理方法、系统、介质及装置
CN113037801A (zh) * 2019-12-09 2021-06-25 通用汽车环球科技运作有限责任公司 私密云处理
CN115361237A (zh) * 2022-10-20 2022-11-18 北京国旺盛源智能终端科技有限公司 一种云终端交互的数据加密传输方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102279777A (zh) * 2011-08-18 2011-12-14 成都市华为赛门铁克科技有限公司 数据冗余处理方法、装置和分布式存储系统
CN103810061A (zh) * 2014-01-28 2014-05-21 河南科技大学 一种高可用云存储方法
CN103886272A (zh) * 2014-03-20 2014-06-25 北京邮电大学 一种基于喷泉码的安全存储技术
US20150365385A1 (en) * 2014-06-11 2015-12-17 Bijit Hore Method and apparatus for securing sensitive data in a cloud storage system
CN105224262A (zh) * 2015-10-30 2016-01-06 深圳云聚汇数码有限公司 数据处理方法
CN105282171A (zh) * 2015-11-06 2016-01-27 北京大学深圳研究生院 一种安全可靠的分布式云存储方法
WO2016015222A1 (zh) * 2014-07-29 2016-02-04 华为技术有限公司 数据加密传输方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102279777A (zh) * 2011-08-18 2011-12-14 成都市华为赛门铁克科技有限公司 数据冗余处理方法、装置和分布式存储系统
CN103810061A (zh) * 2014-01-28 2014-05-21 河南科技大学 一种高可用云存储方法
CN103886272A (zh) * 2014-03-20 2014-06-25 北京邮电大学 一种基于喷泉码的安全存储技术
US20150365385A1 (en) * 2014-06-11 2015-12-17 Bijit Hore Method and apparatus for securing sensitive data in a cloud storage system
WO2016015222A1 (zh) * 2014-07-29 2016-02-04 华为技术有限公司 数据加密传输方法和装置
CN105224262A (zh) * 2015-10-30 2016-01-06 深圳云聚汇数码有限公司 数据处理方法
CN105282171A (zh) * 2015-11-06 2016-01-27 北京大学深圳研究生院 一种安全可靠的分布式云存储方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505228A (zh) * 2019-08-23 2019-11-26 上海宽带技术及应用工程研究中心 基于边缘云架构的大数据处理方法、系统、介质及装置
CN110505228B (zh) * 2019-08-23 2022-07-01 上海宽带技术及应用工程研究中心 基于边缘云架构的大数据处理方法、系统、介质及装置
CN113037801A (zh) * 2019-12-09 2021-06-25 通用汽车环球科技运作有限责任公司 私密云处理
CN113037801B (zh) * 2019-12-09 2023-08-22 通用汽车环球科技运作有限责任公司 私密云处理
CN115361237A (zh) * 2022-10-20 2022-11-18 北京国旺盛源智能终端科技有限公司 一种云终端交互的数据加密传输方法及系统
CN115361237B (zh) * 2022-10-20 2022-12-16 北京国旺盛源智能终端科技有限公司 一种云终端交互的数据加密传输方法及系统

Also Published As

Publication number Publication date
CN108769036B (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN112910840B (zh) 一种基于联盟区块链的医疗数据存储共享方法及系统
US10873458B2 (en) System and method for securely storing and utilizing password validation data
US10686593B2 (en) Secure storage encryption system
CN105210079B (zh) 针对经加密的数据的基于社区的重复删除
CN105939191B (zh) 一种云存储中密文数据的客户端安全去重方法
US10460118B2 (en) Secure storage audit verification system
CN104917609B (zh) 一种基于用户感知的高效安全数据去重方法及系统
US20170317828A1 (en) System and method for securely storing and utilizing password validation data
CN106104562A (zh) 机密数据安全储存和恢复系统及方法
CN108476133A (zh) 通过部分可信的第三方进行的密钥交换
WO2018044303A1 (en) Secure storage decryption system
CN105282171A (zh) 一种安全可靠的分布式云存储方法
WO2013026086A1 (en) Virtual zeroisation system and method
CN108769036A (zh) 基于云系统的数据处理系统和处理方法
CN106412087B (zh) 一种共享所有权证明的方法及系统
US10854114B2 (en) Cyphertext management method, cyphertext management apparatus, and program
CN105871858A (zh) 一种保证数据安全的方法及系统
CN111447057B (zh) 一种基于门限秘密共享技术的安全存储方法及设备
US20220147640A1 (en) Secure secret sharing storage system using cloud service
Hussien et al. Scheme for ensuring data security on cloud data storage in a semi-trusted third party auditor
CN108494552B (zh) 支持高效收敛密钥管理的云存储数据去重方法
US20230275759A1 (en) Method and system of encoding data over distributed networks and method of assuring integrity of data transmission between sender and receiver in a communication system
Roy et al. Healthcare data security using lightweight protocol for cyber physical system
JP2020057863A (ja) 情報通信プログラム、情報処理プログラム及び情報通信装置
CN110881019A (zh) 安全通讯终端、安全通讯系统及其通讯方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant