CN101997929A - 一种云存储的数据存取的方法、装置及系统 - Google Patents

Abstract

本发明属于云存储技术领域，特别涉及一种云存储的数据存取的方法。所述方法包括：数据的存储与数据的取回；数据的存储步骤包括：将待存储文件转化为一组数据块，形成文件物理部分，并保存物理部分还原成文件的信息形成的文件逻辑部分；将物理部分传输到多个云存储数据中心存储；将物理部分各数据块在云存储数据中心的存放位置信息保存到逻辑部分；数据的取回步骤包括：根据文件访问请求获取文件的逻辑部分；根据逻辑部分从云存储数据中心取回文件的物理部分；根据逻辑部分将物理部分还原成文件。本发明还提供了一种云存储的数据存取的装置及系统。本发明提升了云存储数据的存取性能，节省存储空间，提高了云存储数据传输带宽，增强了数据安全性。

Description

一种云存储的数据存取的方法、装置及系统

技术领域

本发明属于云存储技术领域，特别涉及一种云存储的数据存取的方法、装置及系统。

背景技术

数据已经被证明是企业重要资产之一，数据的高速增长使企业面临前所未有的挑战。同时，瞬息万变的世界经济形势和激烈竞争带来的成本压力，使企业不得不考虑如何以降低IT成本，应对企业不断增长的存储需求。

现有的存储架构可以划分为两种：一种是由一方专有的架构，比如DAS(Direct Attached Storage，直接附加存储)，SAN(Storage Area Network，存储区云)和云接入存储服务器(Network Access Server，NAS)等。这类存储体系由一方独占使用，可以提供给用户很好的控制权，更好的可靠性和性能，但是其扩展性较差，不适用于大规模部署；用户在这种模式下也很难灵活使用存储预算(需要一次性地投入购买存储设备)，随着存储容量的增加，成本控制也将面临挑战。

另一种是多方共享架构，即云存储架构，按照其服务范畴的不同，分为私有云(private cloud)和公共云(public cloud)。云存储的体系结构基于云技术(internet和intranet)，为用户提供存储空间按需购买、租赁和按需配置服务，该服务通常由第三方(或企业内第三方部门)提供包括存储设备和专门维护人员。通过该存储服务，企业(或企业内各部门)可以大幅降低其内部存储器的需求和相应的管理成本，以平衡急剧上升的存储需求和企业成本压力。以上所提存储的使用方可以是个人、企业，甚至企业内的部门或者分支机构等。

无论是公共云和私有云，数据传输主要发生在互联网或企业内部网上，网络的带宽和实际环境中的各种干扰，都会影响数据备份归档到云存储数据中心和从数据中心回传数据的速度，从而影响到存储空间和数据的可用性和服务满意度。

目前，已存在的云存储服务解决方案中，在传输前处理待存储文件(事实上所有待存储的数据都可以以某种方法转换为文件)和之后将其传输到云存储数据中心的策略主要有两类：

第一类是文件拆解或者不拆解成更小部分，然后存储到一个云存储数据中心。这类方法的特点是将数据存储到一个云存储数据中心。通过文件拆解，进而比较删除重复的数据，达到节省网络传输带宽和存储空间的目的，典型的方案如IBM和Comm Vault的云存储解决方案。这类方法的数据归档和回传的速度会受限于云存储数据中心网络可分配带宽，因为云存储数据中心入口/出口带宽总是有限的而又常常被分配到与之相连的多个连接上，分配到某一个连接上的带宽往往不理想。

第二类是将文件拆解成更小部分后一一对应地存储到多个数据中心。此方法已经由中国专利CN 200910143245.9《云存储的并行系统的架构方法》公开。这类方法的特征是通过文件分拆分散保存到多个数据中心上。通过多进程地并行发送和回传，充分利用多数据中心的带宽，降低网络带宽对性能的影响。但是因为限制了每个数据元与数据存储服务器一一对应，该数据存储服务器在这里可以是属于一个或者多个独立的云存储服务提供商的云存储服务数据中心，使之有以下局限性：

1、因为建立一个云存储数据中心需要巨额的投入，可用的云存储数据中心往往有限。由于每个数据元和数据存储中心一一对应，这样将导致文件拆分后的粒度比较大，特别是对大文件。过大的粒度不利于文件在归档到云存储服务器前，进行去重(通过比较去掉文件内重复数据)，达到节省网络传输带宽和空间的目的；

2、在一个数据中心存放过大的内容连续的部分文件，也不利于数据安全和隐私性的保护。一个典型的案例是数据中心管理员，特别是超级管理员，对所有存放的数据访问没有限制，其人为错误或职业操守问题均会导致数据泄漏的风险，造成企业的损失。虽然该专利方法采用了加密的办法保护数据安全，但是随着硬件价格的不断下降和性能的快速提升，数据加密的安全性正在接受着考验。

因此，有必要创立一种新的数据存储方法，可以在一个云存储数据中心保存一个数据的多个部分，以解决上述存在的问题。

发明内容

本发明的目的在于提供一种云存储的数据存取的方法、装置及系统，旨在解决现有云存储方法存在的数据归档和回传速度受限于云存储数据中心端网络的可分配带宽，或将拆解后的数据与一一对应存储于云存储数据中心，不利于数据安全和隐私的保护的问题。

本发明提供了一种云存储的数据存取的方法，所述方法包括数据的存储与数据的取回，所述数据的存储步骤包括：

将待存储文件转化为一组数据块，形成文件物理部分，并保存所述物理部分还原成所述文件的信息形成的文件逻辑部分；

将所述物理部分传输到多个云存储数据中心存储；

将所述物理部分各数据块在所述云存储数据中心的存放位置信息保存到所述逻辑部分；

所述数据的取回步骤包括：

根据文件访问请求获取所述文件的逻辑部分；

根据所述逻辑部分从所述云存储数据中心取回所述文件的物理部分；

根据所述逻辑部分将所述物理部分还原成所述文件。

本发明提供了一种云存储的数据存取的装置，所述装置包括用于数据存储的数据存储模块及用于数据取回的数据取回模块，

所述数据存储模块包括：

文件转化单元，用于将待存储文件转化为一组数据块，形成文件物理部分；

物理部分发送单元，用于将所述文件转化单元转化文件形成的物理部分发送至多个云存储数据中心存储；

逻辑部分存储单元，用于在所述文件转化单元转化文件形成物理部分时保存物理部分还原成文件的信息，以及在所述物理部分发送单元发送物理部分后，保存物理部分各数据块在云存储数据中心的存放位置信息；

所述数据取回模块包括：

逻辑部分获取单元，用于根据文件访问请求获取所述文件的逻辑部分；

物理部分取回单元，用于根据所述逻辑部分获取单元获取的逻辑部分从云存储数据中心取回所述文件的物理部分；

文件还原单元，用于根据所述逻辑部分获取单元获取的逻辑部分，将所述物理部分取回单元取回的物理部分还原成所述文件。

本发明还提供了一种云存储的数据存取的系统，所述系统包括用于数据存储的数据存储模块、用于数据取回的数据取回模块及云存储数据中心，

所述数据存储模块包括：

文件转化单元，用于将待存储文件转化为一组数据块，形成文件物理部分；

物理部分发送单元，用于将所述文件转化单元转化文件形成的物理部分发送至多个云存储数据中心存储；

逻辑部分存储单元，用于在所述文件转化单元转化文件形成物理部分时保存物理部分还原成文件的信息，以及在所述物理部分发送单元发送物理部分后，保存物理部分各数据块在云存储数据中心的存放位置信息；

所述数据取回模块包括：

逻辑部分获取单元，用于根据文件访问请求获取所述文件的逻辑部分；

物理部分取回单元，用于根据所述逻辑部分获取单元获取的逻辑部分从云存储数据中心取回所述文件的物理部分；

文件还原单元，用于根据所述逻辑部分获取单元获取的逻辑部分，将所述物理部分取回单元取回的物理部分还原成所述文件。

本发明通过将待存储文件转化后分散保存在多个云存储数据中心，从而提升了云存储数据的存取性能，节省了存储空间和云传输带宽，同时增强了数据安全性。

附图说明

图1是本发明实施例提供的云存储的数据存取的方法流程图；

图2是本发明实施例提供的云存储的数据存取的装置结构示意图；

图3是本发明实施例提供的物理部分发送单元的结构示意图；

图4是本发明实施例提供的云存储的数据存取的系统结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例通过将待存储文件转化为一组数据块形成文件物理部分，并保存物理部分还原成文件的信息形成的文件逻辑部分，将物理部分传输到多个云存储数据中心存储的同时，将物理部分各数据块在云存储数据中心的存放位置信息保存到逻辑部分；取回文件时获取文件的逻辑部分，并根据逻辑部分从云存储数据中心取回文件的物理部分还原成文件。

参见图1，本发明实施例提供了一种云存储的数据存取的方法，该方法包括数据的存储步骤S100与数据的取回步骤S200；

其中，数据的存储S100具体包括以下步骤：

步骤S101：将待存储文件转化为一组数据块，形成文件物理部分，并保存物理部分还原成文件的信息形成的文件逻辑部分；

文件转化方法在具体实施中可以有很多种，包括按指定大小或按随机数划分成定长或不定长的数据块；在本实施例中，采用指定大小(例如，512KB)划分的方法将待存储的文件转化为相应的物理部分数据块，并形成与之相应的文件的逻辑部分；

文件逻辑部分包括文件物理部分数据块组成信息、数据块存放位置信息，数据块组成规则等信息；另外，根据实际需要，文件逻辑部分还可以包括文件的属性、访问权限和校验值(如MD5值，验证取回文件内容的准确性)等信息；

文件逻辑部分信息可以根据需要存放于用户本地服务器或者除了被该文件使用的云存储数据中心之外的任意存储服务器上，如某中间存储代理服务器等；

步骤S102：将物理部分传输到多个云存储数据中心存储；

本实施例将物理部分传输到多个云存储数据中心存储的步骤具体包括：根据用户设置对物理部分进行随机分散处理；将随机分散处理的物理部分多行程并行传输到多个云存储数据中心存储；

在实际应用中，对物理部分进行随机分散处理的方法有多种，包括奇数位数据块放置在云存储数据中心1，偶数位数据块放置在云存储数据中心2；或者根据可用的云存储数据中心的数量，随机地抽取所有文件物理部分数据块放置在指定的云存储数据中心上；或者在将物理部分分散传输到多个云存储数据中心存储前，根据用户要求生成一个分散存储随机规则，该规则生成后即可按该规则将物理部分随机分散处理，分散传输到多个云存储数据中心进行分散存储；

本实施例不限制存储数据的云存储数据中心的数量；同时，每个云存储数据中心也不限于存储文件的一个物理部分，即：每个云存储数据中心可以存储一个文件的一个或多个物理部分；另外，一个文件的多个物理部分可以不受限地保存在多个云存储数据中心中；

步骤S103：将物理部分各数据块在云存储数据中心的存放位置信息保存到逻辑部分；

在实际应用中，当客户选定了某个文件要存放到云存储数据中心后，该文件可以按照预置的备份归档策略与计划进行转化为一组指定大小的物理部分数据块，同时保存物理部分还原成文件的信息形成的文件逻辑部分，之后按产生的分散存储随机规则及预置的云存储服务访问协定，如认证，付费账单记录等，多进程并行地分散发送物理部分数据块至指定的多个云存储数据中心存储，并将物理部分各数据块在云存储数据中心的存放位置信息保存到形成的逻辑部分中；

数据的取回步骤S200具体包括以下步骤：

步骤S201：根据文件访问请求获取访问文件的逻辑部分；

步骤S202：根据逻辑部分从云存储数据中心取回访问文件的物理部分；

步骤S203：根据文件逻辑部分将物理部分还原成访问文件。

当收到外部文件访问请求后，首先获取文件的逻辑部分，并根据该文件逻辑部分确定文件的物理部分数据块以及该数据块存放在云存储数据中心的位置，按照预置的云存储服务访问协定，如认证，付费账单记录等，从云存储数据中心取回访问文件的物理部分，并根据该逻辑部分将该物理部分聚合还原成访问文件。

在实际应用中，因为文件物理部分的数据块大小可以在转化的时候设定，所以划分后的数据块大小可以足够小，并且如果数据块分散保存的随机规则/算法理想，那么每个云存储数据中心上存放的文件的多个部分可以是不连续并且很难还原出原文件连续信息的，甚至是部分文件的连续信息。另外，虽然一个云存储数据中心可以包含有一个文件的多个部分，但是因为每个拆解转化后的部分足够小，且各个拆解转化部分的内容不连续，从而降低了因数据中心管理员，特别是对所有存放的数据访问没有限制的超级管理员的人为错误或职业操守问题，导致数据泄漏的风险，增强了用户数据安全和隐私性的保护。

本实施例在传输物理部分到多个云存储数据中心，以及根据逻辑部分从云存储数据中心取回物理部分时，可以充分利用多个数据中心提供的带宽，采用多进程并行传输的方法，从而极大地提升了云存储服务数据的存取性能。

参见图2，本发明实施例提供了一种云存储的数据存取的装置，该装置包括用于数据存储的数据存储模块20及用于数据取回的数据取回模块30。

其中，数据存储模块20包括：

文件转化单元21，用于将待存储文件转化为一组数据块，形成文件物理部分；

物理部分发送单元22，用于将文件转化单元21转化文件形成的物理部分发送至多个云存储数据中心存储；

逻辑部分存储单元23，用于在文件转化单元21转化文件形成物理部分时保存物理部分还原成文件的信息，以及在物理部分发送单元22发送物理部分后，保存物理部分各数据块在云存储数据中心的存放位置信息。

在对待存储的文件进行存储时，文件转化单元21可以按照预置的备份归档策略与计划，将待存储文件转化为一组数据块，形成文件物理部分，物理部分发送单元22将文件转化单元21转化文件形成的物理部分发送至多个云存储数据中心存储；在文件转化单元21转化文件形成物理部分时，逻辑部分存储单元23同时保存物理部分还原成文件的信息，以及在物理部分发送单元22发送文件转化单元21转化文件形成的物理部分到多个云存储数据中心后，逻辑部分存储单元23保存物理部分各数据块在云存储数据中心的存放位置信息。

参见图3，物理部分发送单元22包括：

随机分散处理子单元221，用于根据用户设置将文件转化单元21转化文件形成的物理部分进行随机分散处理；

并行传输子单元222，用于将随机分散处理子单元221处理后的物理部分多进程并行传输到多个云存储数据中心存储。

其中，数据取回模块30包括：

逻辑部分获取单元31，用于根据文件访问请求获取文件的逻辑部分；

物理部分取回单元32，用于根据逻辑部分获取单元31获取的逻辑部分从云存储数据中心取回文件的物理部分；

文件还原单元33，用于根据逻辑部分获取单元31获取的逻辑部分，将物理部分取回单元32取回的物理部分还原成文件。

当需要取回所存储的文件时，根据文件访问请求逻辑部分获取单元31获取访问文件的逻辑部分，确定文件物理部分内容及其在云存储中心的位置信息，物理部分取回单元32根据逻辑部分获取单元31获取的文件的逻辑部分从云存储数据中心取回访问文件的物理部分，文件还原单元33根据逻辑部分获取单元31获取的文件的逻辑信息，将物理部分取回单元32取回的访问文件的物理部分还原成访问的文件。

参见图4，本发明实施例还提供了一种云存储的数据存取的系统，该系统包括用于数据存储的数据存储模块、用于数据取回的数据取回模块及云存储数据中心。

其中，数据存储模块包括：

文件转化单元，用于将待存储文件转化为一组数据块，形成文件物理部分；

物理部分发送单元，用于将文件转化单元转化文件形成的物理部分发送至多个云存储数据中心存储；

逻辑部分存储单元，用于在文件转化单元转化文件形成物理部分时保存物理部分还原成文件的信息，以及在物理部分发送单元发送物理部分后，保存物理部分各数据块在云存储数据中心的存放位置信息。

其中，数据取回模块包括：

逻辑部分获取单元，用于根据文件访问请求获取文件的逻辑部分；

物理部分取回单元，用于根据逻辑部分获取单元获取的逻辑部分从云存储数据中心取回文件的物理部分；

文件还原单元，用于根据逻辑部分获取单元获取的逻辑部分，将物理部分取回单元取回的物理部分还原成文件。

进一步地，物理部分发送单元包括：

随机分散处理子单元，用于根据用户设置将文件转化单元转化文件形成的物理部分进行随机分散处理；

并行传输子单元，用于将随机分散处理子单元处理后的物理部分多进程并行传输到多个云存储数据中心存储。

进一步地，云存储数据中心存储文件的一个或多个物理部分。

本发明实施例中，文件可以分散存储但不必受限于存储服务器的数量，每个存储服务器也不必局限于仅存储文件的一个部分，即允许一个文件的多个拆解转化部分可以交付给多个云存储服务数据中心保存，一个云存储服务数据中心也可以保存一个文件的多个部分，不同于文献CN 200910143245.9《云存储的并行系统的架构方法》公开的内容，只能保存一个部分。

本发明通过将文件转化为数据块物理部分分开保存至不同的云存储数据中心，进而充分利用多个数据中心提供的带宽进行多进程并行的文件内容发送与回传，加快了云存储服务数据的存取性能；同时通过把文件分拆转化成更小长度，方便文件内和文件间重复数据的删除，节省了存储空间和云传输带宽；按照预置的数据分散存放原则存储数据，降低了因数据中心管理员的人为错误或职业操守问题，导致数据泄漏的风险。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种云存储的数据存取的方法，所述方法包括数据的存储与数据的取回，其特征在于，

所述数据的存储步骤包括：

将待存储文件转化为一组数据块，形成文件物理部分，并保存所述物理部分还原成所述文件的信息形成的文件逻辑部分；

将所述物理部分传输到多个云存储数据中心存储；

将所述物理部分各数据块在所述云存储数据中心的存放位置信息保存到所述逻辑部分；

所述数据的取回步骤包括：

根据文件访问请求获取所述文件的逻辑部分；

根据所述逻辑部分从所述云存储数据中心取回所述文件的物理部分；

根据所述逻辑部分将所述物理部分还原成所述文件。

2.如权利要求1所述的云存储的数据存取的方法，其特征在于，所述将所述物理部分传输到多个云存储数据中心存储的步骤具体包括：

根据用户设置对所述物理部分进行随机分散处理；

将所述随机分散处理的物理部分多进程并行传输到多个云存储数据中心存储。

3.如权利要求1或2所述的云存储的数据存取的方法，其特征在于，所述逻辑部分存储于本地服务器，或所述云存储数据中心以外的服务器。

4.如权利要求1或2所述的云存储的数据存取的方法，其特征在于，所述云存储数据中心存储所述文件的一个或多个物理部分。

5.如权利要求1所述的云存储的数据存取的方法，其特征在于，所述逻辑部分包括所述物理部分数据块的构成、在所述云存储数据中心的存放位置和数据块组成方式信息，以及所述文件的属性、访问权限和校验值信息。

6.一种云存储的数据存取的装置，所述装置包括用于数据存储的数据存储模块及用于数据取回的数据取回模块，其特征在于，

所述数据存储模块包括：

文件转化单元，用于将待存储文件转化为一组数据块，形成文件物理部分；

物理部分发送单元，用于将所述文件转化单元转化文件形成的物理部分发送至多个云存储数据中心存储；

逻辑部分存储单元，用于在所述文件转化单元转化文件形成物理部分时保存物理部分还原成文件的信息，以及在所述物理部分发送单元发送物理部分后，保存物理部分各数据块在云存储数据中心的存放位置信息；

所述数据取回模块包括：

逻辑部分获取单元，用于根据文件访问请求获取所述文件的逻辑部分；

物理部分取回单元，用于根据所述逻辑部分获取单元获取的逻辑部分从云存储数据中心取回所述文件的物理部分；

文件还原单元，用于根据所述逻辑部分获取单元获取的逻辑部分，将所述物理部分取回单元取回的物理部分还原成所述文件。

7.如权利要求6所述的云存储的数据存取的装置，其特征在于，所述物理部分发送单元包括：

随机分散处理子单元，用于根据用户设置将所述文件转化单元转化文件形成的物理部分进行随机分散处理；

并行传输子单元，用于将所述随机分散处理子单元处理后的物理部分多进程并行传输到多个云存储数据中心存储。

8.一种云存储的数据存取的系统，所述系统包括用于数据存储的数据存储模块、用于数据取回的数据取回模块及云存储数据中心，其特征在于，

所述数据存储模块包括：

文件转化单元，用于将待存储文件转化为一组数据块，形成文件物理部分；

物理部分发送单元，用于将所述文件转化单元转化文件形成的物理部分发送至多个云存储数据中心存储；

逻辑部分存储单元，用于在所述文件转化单元转化文件形成物理部分时保存物理部分还原成文件的信息，以及在所述物理部分发送单元发送物理部分后，保存物理部分各数据块在云存储数据中心的存放位置信息；

所述数据取回模块包括：

逻辑部分获取单元，用于根据文件访问请求获取所述文件的逻辑部分；

物理部分取回单元，用于根据所述逻辑部分获取单元获取的逻辑部分从云存储数据中心取回所述文件的物理部分；

文件还原单元，用于根据所述逻辑部分获取单元获取的逻辑部分，将所述物理部分取回单元取回的物理部分还原成所述文件。

9.如权利要求8所述的云存储的数据存取的系统，其特征在于，所述物理部分发送单元包括：

随机分散处理子单元，用于根据用户设置将所述文件转化单元转化文件形成的物理部分进行随机分散处理；

并行传输子单元，用于将所述随机分散处理子单元处理后的物理部分多进程并行传输到多个云存储数据中心存储。

10.如权利要求8或9所述的云存储的数据存取的系统，其特征在于，所述云存储数据中心存储所述文件的一个或多个物理部分。

Images