CN108833535A - 基于云平台分布式块存储的用户数据存储方法 - Google Patents
基于云平台分布式块存储的用户数据存储方法 Download PDFInfo
- Publication number
- CN108833535A CN108833535A CN201810611439.6A CN201810611439A CN108833535A CN 108833535 A CN108833535 A CN 108833535A CN 201810611439 A CN201810611439 A CN 201810611439A CN 108833535 A CN108833535 A CN 108833535A
- Authority
- CN
- China
- Prior art keywords
- data
- user
- storage
- user data
- cloud platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了基于云平台分布式块存储的用户数据存储方法，属于的数据存储技术领域。现有的用户要存储的数据量可能很大，需要支持大规模存储，不同用户的数据很容易发生跨用户被访问的情况，同时由于数据过于庞杂，也时常发生数据泄露以及丢失的情况。本发明利用云平台能够有效地为多个用户提供大规模存储服务；对用户数据进行数据加密，并进行虚拟块存储，使得不同用户数据彼此之间相互隔离，避免了跨用户访问及数据被第三方窃取的可能性；同时通过建立多个数据副本保存用户数据，避免数据泄露以及丢失。
Description
技术领域
本发明涉及基于云平台分布式块存储的用户数据存储方法，属于的数据存储技术领域。
背景技术
云平台利用了云计算技术共享基础架构的方法，为用户提供弹性云计算服务。在云平台上需要能同时为许多用户提供数据存储服务，并且数据安全对用户来说非常重要，这对云平台在数据存储方面有很高的要求。用户要存储的数据量可能很大，需要支持大规模存储，不同用户的数据很容易发生跨用户被访问的情况，同时由于数据过于庞杂，也时常发生数据泄露以及丢失的情况。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种能够有效地为多个用户提供大规模存储服务，对不同用户数据进行隔离，避免了跨用户访问及数据被第三方窃取的可能性，同时能够避免数据泄露以及丢失的基于云平台分布式块存储的用户数据存储方法。
为实现上述目的，本发明的技术方案为：
基于云平台分布式块存储的用户数据存储方法，包括以下步骤：第一步，将用户数据进行加密，不同用户采用的加密方式不同，使得用户数据互相隔离；第二步，将加密后的用户数据写入虚拟块存储，用户的数据不是存储在本地，而是通过网络传输到远端，存储在远端，使用虚拟化技术，实现虚拟块存储；第三步，对于每个用户来说，系统为用户分配独立的虚拟块存储，不同用户的虚拟块存储在使用上是完全隔离的，每个虚拟块存储只属于一个用户；第四步，对写入用户数据的虚拟块存储使用分布式数据库来存储，将用户数据分布在不同机器上的多个副本保存。
本发明利用云平台能够有效地为多个用户提供大规模存储服务；对用户数据进行数据加密，并进行虚拟块存储，使得不同用户数据彼此之间相互隔离，避免了跨用户访问及数据被第三方窃取的可能性；同时通过建立多个数据副本保存用户数据，避免数据泄露以及丢失。
作为优选技术措施，虚拟块存储的使用，利用虚拟块存储实现写入时的自定义操作并添加加密步骤，然后将虚拟块存储数据写入分布式数据库中；读取时采用相反的过程，根据偏移位置和读取大小从分布式数据库中读取，进行解密，然后返回给应用。
利用虚拟块存储可以通过Raid与LVM等手段，对数据提供了保护，确保数据安全。同时可以随意扩展，可以根据存储需要，将多块的磁盘组合起来，成为一个大容量的逻辑盘对外提供服务，提高了容量。并且由于是多块磁盘组合出来的逻辑盘，所以几块磁盘可以并行写入的，提升了读写效率。块存储还可以采用SAN架构组网，传输速率以及封装协议的原因，使得传输速度与读写速率得到提升。
作为优选技术措施，单个用户使用存储的过程：用户使用软件调用操作系统底层接口写数据，之后由操作系统通过硬件协议写入磁盘，读取类似，由软件调用操作系统接口读取，操作系统根据硬件协议读取数据返回给应用软件，工序合理、有序，提升数据存储效率。
作为优选技术措施，对于多个用户来说，需要考虑云端环境下单台机器的稳定性，将数据与机器分离，以免当单台机器故障时发生数据丢失的问题。
作为优选技术措施，在数据写入之前，通过AES-256加密算法进行加密，将加密之后的数据写入，读取时使用相同的密钥进行相应的AES-256加密算法解密过程。AES-256加密算法能够对不同用户的虚拟块存储中的数据使用不同的密钥进行加解密处理，即使用户A1拿到用户A2的虚拟块存储数据也无法进行解密读取，本发明从机制上避免了用户数据的泄露，极大地提升了系统的安全性。。
作为优选技术措施，所述第四步，用户的数据使用分布在不同机器上的多个副本保存，单台机器故障时，使用其它机器上的副本提供服务，同时自动寻找可用机器生成新的副本，保证副本数量满足要求；因而不会因为单台机器的故障而导致用户数据的丢失；数据规模增长时，根据需要添加新机器，分布式数据库会根据数据规模自动分配数据到新的机器上，即可解决扩展问题。
作为优选技术措施，存储用户数据时对应硬件调用方法，其包括以下步骤：
步骤1：系统调用操作系统接口添加虚拟块存储，挂载到文件系统中；
步骤2；用户应用程序调用操作系统写数据接口将数据传给内核底层模块；
步骤3：内核底层模块通过用户注册的回调接口将数据传给加密模块进行AES-256加密算法加密；
步骤4：加密完成之后通过网络发送到分布式数据库中进行存储；
步骤5：操作系统写数据接口返回成功，结束；读取数据的过程与写数据过程完全一致，只是顺序相反。通过为不同用户分配不同的虚拟块存储，不同的加密密钥，加密之后存储到分布式数据库中，达到对不同用户的数据进行隔离，支持云平台环境的高可用及可扩展，工序合理、有序，提升数据存储效率。
作为优选技术措施，所述块存储是将裸磁盘空间整个映射给主机使用，便于扩展磁盘以及提升储存效率。
与现有技术相比，本发明具有以下有益效果：
本发明利用云平台能够有效地为多个用户提供大规模存储服务；对用户数据进行数据加密，并进行虚拟块存储，使得不同用户数据彼此之间相互隔离，避免了跨用户访问及数据被第三方窃取的可能性；同时通过建立多个数据副本保存用户数据，避免数据泄露以及丢失。
附图说明
图1为本发明分布式块存储架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
如图1所示，基于云平台分布式块存储的用户数据存储方法，包括以下步骤：
第一步，将用户数据进行加密，不同用户采用的加密方式不同，使得用户数据互相隔离。在数据写入之前，通过AES-256加密算法进行加密，将加密之后的数据写入，读取时使用相同的密钥进行相应的AES-256加密算法解密过程。AES-256加密算法即密码学中的高级加密标准，是美国联邦政府采用的一种区块加密标准，已经被多方分析且广为全世界所使用，本发明采用AES-256加密算法有效提升数据的安全性。
第二步，将加密后的用户数据写入虚拟块存储，用户的数据不是存储在本地，而是通过网络传输到远端，存储在远端，使用虚拟化技术，实现虚拟块存储，所述块存储是将裸磁盘空间整个映射给主机使用，便于扩展磁盘以及提升储存效率。
第三步，对于每个用户来说，系统为用户分配独立的虚拟块存储，不同用户的虚拟块存储在使用上是完全隔离的，每个虚拟块存储只属于一个用户。
第四步，对写入用户数据的虚拟块存储使用分布式数据库来存储，将用户数据分布在不同机器上的多个副本保存。用户的数据使用分布在不同机器上的多个副本保存，单台机器故障时，使用其它机器上的副本提供服务，同时自动寻找可用机器生成新的副本，保证副本数量满足要求。因而不会因为单台机器的故障而导致用户数据的丢失。数据规模增长时，根据需要添加新机器，分布式数据库会根据数据规模自动分配数据到新的机器上，即可解决扩展问题。
本发明利用云平台能够有效地为多个用户提供大规模存储服务；对用户数据进行数据加密，并进行虚拟块存储，使得不同用户数据彼此之间相互隔离，避免了跨用户访问及数据被第三方窃取的可能性，即使发生跨用户访问的情况，因为加密密钥的不同，也读取不到真实数据；同时通过建立多个数据副本保存用户数据，避免数据泄露以及丢失。
虚拟块存储的使用，利用虚拟块存储实现写入时的自定义操作并添加加密步骤，然后将虚拟块存储数据写入分布式数据库中；读取时采用相反的过程，根据偏移位置和读取大小从分布式数据库中读取，进行解密，然后返回给应用。
利用虚拟块存储可以通过Raid与LVM等手段，对数据提供了保护，确保数据安全。同时可以随意扩展，可以根据存储需要，将多块的磁盘组合起来，成为一个大容量的逻辑盘对外提供服务，提高了容量。并且由于是多块磁盘组合出来的逻辑盘，所以几块磁盘可以并行写入的，提升了读写效率。块存储还可以采用SAN架构组网，传输速率以及封装协议的原因，使得传输速度与读写速率得到提升。
单个用户使用存储的过程：用户使用软件调用操作系统底层接口写数据，之后由操作系统通过硬件协议写入磁盘，读取类似，由软件调用操作系统接口读取，操作系统根据硬件协议读取数据返回给应用软件，工序合理、有序，提升数据存储效率。对于多个用户来说，需要考虑云端环境下单台机器的稳定性，将数据与机器分离，以免当单台机器故障时发生数据丢失的问题。
本发明一种具体实施例：
本发明通过虚拟化技术，根据SCSI协议实现虚拟块存储，用户的数据不是存储在本地，而是通过网络传输到远端，存储在远端。对于每个用户来说，系统为用户分配独立的虚拟块存储，不同用户的块存储在使用上是完全隔离的，每个虚拟块存储只属于一个用户，即块存储B1只属于用户A1，块存储B2只属于用户A2。用户A1读不到用户A2的数据，用户A2也读不到用户A1的数据。
存储用户数据时对应硬件调用方法，其包括以下步骤：
步骤1：系统调用操作系统接口添加虚拟块存储，挂载到文件系统中；
步骤2；用户应用程序调用操作系统写数据接口将数据传给内核底层模块；
步骤3：内核底层模块通过用户注册的回调接口将数据传给加密模块进行AES-256加密算法加密；
步骤4：加密完成之后通过网络发送到分布式数据库中进行存储；
步骤5：操作系统写数据接口返回成功，结束。
读取数据的过程与写数据过程完全一致，只是顺序相反，工序合理、有序，提升数据存储效率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.基于云平台分布式块存储的用户数据存储方法，其特征在于，包括以下步骤：第一步，将用户数据进行加密，不同用户采用的加密方式不同，使得用户数据互相隔离；第二步，将加密后的用户数据写入虚拟块存储，用户的数据不是存储在本地，而是通过网络传输到远端，存储在远端，使用虚拟化技术，实现虚拟块存储；第三步，对于每个用户来说，系统为用户分配独立的虚拟块存储，不同用户的虚拟块存储在使用上是完全隔离的，每个虚拟块存储只属于一个用户；第四步，对写入用户数据的虚拟块存储使用分布式数据库来存储，将用户数据分布在不同机器上的多个副本保存。
2.如权利要求1所述的基于云平台分布式块存储的用户数据存储方法，其特征在于，虚拟块存储的使用，利用虚拟块存储实现写入时的自定义操作并添加加密步骤，然后将虚拟块存储数据写入分布式数据库中；读取时采用相反的过程，根据偏移位置和读取大小从分布式数据库中读取，进行解密，然后返回给应用。
3.如权利要求1所述的基于云平台分布式块存储的用户数据存储方法，其特征在于，单个用户使用存储的过程：用户使用软件调用操作系统底层接口写数据，之后由操作系统通过硬件协议写入磁盘，读取类似，由软件调用操作系统接口读取，操作系统根据硬件协议读取数据返回给应用软件。
4.如权利要求3所述的基于云平台分布式块存储的用户数据存储方法，其特征在于，对于多个用户来说，需要考虑云端环境下单台机器的稳定性，将数据与机器分离，以免当单台机器故障时发生数据丢失的问题。
5.如权利要求1-4任一项所述的基于云平台分布式块存储的用户数据存储方法，其特征在于，在数据写入之前，通过AES-256加密算法进行加密，将加密之后的数据写入，读取时使用相同的密钥进行相应的AES-256加密算法解密过程。
6.如权利要求5所述的基于云平台分布式块存储的用户数据存储方法，其特征在于，所述第四步，用户的数据使用分布在不同机器上的多个副本保存，单台机器故障时，使用其它机器上的副本提供服务，同时自动寻找可用机器生成新的副本，保证副本数量满足要求；因而不会因为单台机器的故障而导致用户数据的丢失；数据规模增长时，根据需要添加新机器，分布式数据库会根据数据规模自动分配数据到新的机器上，即可解决扩展问题。
7.如权利要求6所述的基于云平台分布式块存储的用户数据存储方法，其特征在于，存储用户数据时对应硬件调用方法，其包括以下步骤：
步骤1：系统调用操作系统接口添加虚拟块存储，挂载到文件系统中；
步骤2；用户应用程序调用操作系统写数据接口将数据传给内核底层模块；
步骤3：内核底层模块通过用户注册的回调接口将数据传给加密模块进行AES-256加密算法加密；
步骤4：加密完成之后通过网络发送到分布式数据库中进行存储；
步骤5：操作系统写数据接口返回成功，结束；读取数据的过程与写数据过程完全一致，只是顺序相反。
8.如权利要求7所述的基于云平台分布式块存储的用户数据存储方法，其特征在于，所述块存储是将裸磁盘空间整个映射给主机使用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810611439.6A CN108833535A (zh) | 2018-06-14 | 2018-06-14 | 基于云平台分布式块存储的用户数据存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810611439.6A CN108833535A (zh) | 2018-06-14 | 2018-06-14 | 基于云平台分布式块存储的用户数据存储方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108833535A true CN108833535A (zh) | 2018-11-16 |
Family
ID=64141626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810611439.6A Pending CN108833535A (zh) | 2018-06-14 | 2018-06-14 | 基于云平台分布式块存储的用户数据存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108833535A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399744A (zh) * | 2019-07-31 | 2019-11-01 | 上海商米科技集团股份有限公司 | 数据加密方法和装置、移动终端以及计算机可读介质 |
| CN110633125A (zh) * | 2019-09-26 | 2019-12-31 | 柯利达信息技术有限公司 | 一种基于云平台存储的集成管理平台及管理方法 |
| CN112631527A (zh) * | 2021-01-07 | 2021-04-09 | 上海明略人工智能(集团)有限公司 | 基于k8s多租户的Juypter Notebook代码远端存储方法及装置 |
| CN114500073A (zh) * | 2022-02-11 | 2022-05-13 | 浪潮云信息技术股份公司 | 一种云存储系统中支持隐私保护的用户数据割接方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104754001A (zh) * | 2013-12-30 | 2015-07-01 | 方正宽带网络服务股份有限公司 | 云存储系统和数据存储方法 |
| US20170104736A1 (en) * | 2015-10-12 | 2017-04-13 | International Business Machines Corporation | Secure data storage on a cloud environment |
| CN107124271A (zh) * | 2017-04-28 | 2017-09-01 | 成都梆梆信息科技有限公司 | 一种数据加密、解密方法和设备 |
-
2018
- 2018-06-14 CN CN201810611439.6A patent/CN108833535A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104754001A (zh) * | 2013-12-30 | 2015-07-01 | 方正宽带网络服务股份有限公司 | 云存储系统和数据存储方法 |
| US20170104736A1 (en) * | 2015-10-12 | 2017-04-13 | International Business Machines Corporation | Secure data storage on a cloud environment |
| CN107124271A (zh) * | 2017-04-28 | 2017-09-01 | 成都梆梆信息科技有限公司 | 一种数据加密、解密方法和设备 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399744A (zh) * | 2019-07-31 | 2019-11-01 | 上海商米科技集团股份有限公司 | 数据加密方法和装置、移动终端以及计算机可读介质 |
| CN110399744B (zh) * | 2019-07-31 | 2022-02-01 | 上海商米科技集团股份有限公司 | 数据加密方法和装置、移动终端以及计算机可读介质 |
| CN110633125A (zh) * | 2019-09-26 | 2019-12-31 | 柯利达信息技术有限公司 | 一种基于云平台存储的集成管理平台及管理方法 |
| CN112631527A (zh) * | 2021-01-07 | 2021-04-09 | 上海明略人工智能(集团)有限公司 | 基于k8s多租户的Juypter Notebook代码远端存储方法及装置 |
| CN114500073A (zh) * | 2022-02-11 | 2022-05-13 | 浪潮云信息技术股份公司 | 一种云存储系统中支持隐私保护的用户数据割接方法及系统 |
| CN114500073B (zh) * | 2022-02-11 | 2024-04-12 | 浪潮云信息技术股份公司 | 一种云存储系统中支持隐私保护的用户数据割接方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10148431B2 (en) | Master key generation and distribution for storage area network devices | |
| CN106330868B (zh) | 一种高速网络加密存贮密钥管理系统及方法 | |
| CN108833535A (zh) | 基于云平台分布式块存储的用户数据存储方法 | |
| CN102945355B (zh) | 基于扇区映射的快速数据加密策略遵从 | |
| EP2260425B1 (en) | Distribution of storage area network encryption keys across data centers | |
| US8966288B2 (en) | System and method for providing encryption in storage operations in a storage network, such as for use by application service providers that provide data storage services | |
| US8417967B2 (en) | Storage device data encryption using a binary large object (BLOB) | |
| EP1012691B1 (en) | Encrypting file system and method | |
| US7277941B2 (en) | System and method for providing encryption in a storage network by storing a secured encryption key with encrypted archive data in an archive storage device | |
| CN103825953B (zh) | 一种用户模式加密文件系统 | |
| US7983423B1 (en) | Re-keying based on pre-generated keys | |
| CN102855452B (zh) | 基于加密组块的快速数据加密策略遵从 | |
| KR101405720B1 (ko) | 암호화 속성을 이용하는 가속 크립토그래피 | |
| CN104503708B (zh) | 数据散列存储的方法及装置 | |
| CN106815528B (zh) | 一种文件管理方法及装置、存储设备 | |
| EP3614619B1 (en) | Providing a secure object store using a hierarchical key system | |
| CN107124271A (zh) | 一种数据加密、解密方法和设备 | |
| CN102394894A (zh) | 一种基于云计算的网络虚拟磁盘文件安全管理方法 | |
| US11288212B2 (en) | System, apparatus, and method for secure deduplication | |
| US9071589B1 (en) | Encryption key management for storage area network devices | |
| CN108833336A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN206611427U (zh) | 一种基于可信计算装置的密钥存储管理系统 | |
| CN107590395A (zh) | 适用于云环境的多层数据加密方法、装置、设备及系统 | |
| CN107609428A (zh) | 数据安全存储系统及方法 | |
| CN106682521B (zh) | 基于驱动层的文件透明加解密系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181116 |