CN102055797A - 一种云存储的数据存取的方法、装置及系统 - Google Patents

Abstract

本发明属于云存储技术领域，特别涉及一种云存储的数据存取的方法、装置及系统。所述数据的存储步骤包括：在数据的发送端创建待存储原始数据的数据校验值；按预置的冗余存放策略将原始数据及数据校验值分别传输至不同的云存储数据中心存储；所述数据的取回步骤包括：根据访问请求按预置的冗余存放策略访问存储原始数据的云存储数据中心；判断云存储数据中心存储的原始数据是否可用，如果不可用，则从其它云存储数据中心取回原始数据的数据校验值和创建数据校验值所使用的数据；根据数据校验值及创建数据校验值所使用的数据还原原始数据。本发明还提供了一种云存储的数据存取的装置及系统。本发明提高了云存储数据的可用性和容错性。

Description

一种云存储的数据存取的方法、装置及系统

技术领域

本发明属于云存储技术领域，特别涉及一种云存储的数据存取的方法、装置及系统。

背景技术

数据已经被证明是企业重要资产之一，数据的高速增长使企业面临前所未有的挑战。同时，瞬息万变的世界经济形势和激烈竞争带来的成本压力，使企业不得不考虑如何以降低IT成本，应对企业不断增长的存储需求。

现有的存储架构可以划分为两种：一种是由一方专有的架构，比如DAS(direct attached storage，直接附加存储)，SAN(Storage Area Network，存储区网络)和网络接入存储服务器(Network access server，NAS)等。这类存储体系由一方独占使用，可以提供给用户很好的控制权，更好的可靠性和性能，但是其扩展性较差，不适用于大规模部署；用户在这种模式下也很难灵活使用存储预算(需要一次性地投入购买存储设备)；随着存储容量的增加，成本控制也将面临挑战。

另一种是多方共享架构，即云存储架构。按照其服务范畴的不同，分为私有云(private cloud)和公共云(public cloud)。云存储的体系结构基于网络技术(internet和intranet)，为用户提供存储空间按需购买、租赁和按需配置服务，该服务通常由第三方(或企业内第三方部门)提供包括存储设备和专门维护人员。通过该存储服务，企业(或企业内各部门)可以大幅降低其内部存储器的需求和相应的管理成本，以平衡急剧上升的存储需求和企业成本压力。以上所提存储的使用方可以是个人、企业，甚至企业内的部门或者分支机构等。

除了服务对象和服务范畴不同，公共云存储系统和私有云存储，及企业内传统的网络备份系统不同之处在于，云存储服务商(数据中心)之间相对独立，限于安全性考虑及数据兼容性问题，它们之间很少有信息交换和通讯的需求。

公共云存储服务虽然可以降低企业及个人存储的成本，提高了数据存储的灵活性，但现实中通常由于各种不可预料原因导致云存储服务不可用，甚至云存储服务商的数据中心中数据丢失或者被篡改，这种风险使得企业或个人对使用公共云存储服务时，特别是涉及其业务数据等关键数据，望而却步。比如云存储服务提供商破产或者其他原因导致其提供的云存储服务不再可用，进而导致存放在其上的数据存在丢失的风险；或企业因服务价格的原因选择某些较小的云存储服务提供商，但其因经营不善而破产；或由于不可抗拒的原因，如地震或者重大灾害，云存储服务商的数据中心的数据丢失；或由于某种原因如电力中断等，云存储服务商中的数据不可用(一般云存储服务商承诺其服务有99.99％或者99.999％的可用性)；或由于企业并购或其他原因，人为操作失误导致的数据中心数据丢失；以及病毒或者黑客入侵，导致的云存储数据中心数据丢失或者被篡改。

鉴于数据对企业的重要性或由于法律的要求，增加公共云存储系统数据的容错性是很必要的，特别是企业或者个人的关键数据。

传统用于提高公共云存储服务的可用性和数据的容错性，通常依赖于企业与云存储服务提供商签订服务协议(SLA)及在云存储数据中心端的RAID机制(主要是RAID2-RAID6)。参考文献见David A.Patterson，Garth Gibson，and Randy H.Katz：A Case for Redundant Arrays of Inexpensive Disks(RAID).ACM 1988。RAID2-RAID6通过存放(传输到存储介质)数据的校验值，使数据保存有充分冗余，进而保证了在存储介质硬件损害时，不会导致数据丢失。

RAID机制对于网络存储多用于数据接收端的数据保护，在数据接收端通过数据校验值创建数据冗余，保护因存储硬件损害导致的数据丢失；RAID机制仅限于对互联的、通常在一个数据中心内的存储介质创建数据冗余；RAID保护范围有局限性，传统的RAID技术因通常部署在云存储数据中心的存储介质上，只能保护因存储介质的物理损坏导致的数据丢失，可见RAID机制主要是用来防范存储硬件级别如硬盘、磁带等的损害导致的数据丢失。

为了抵御非存储硬件级别的灾害引起的云存储服务短暂不可用时造成的数据短暂无法取回，用户数据丢失及被篡改的风险，有必要创立一种新的提高公共云存储服务的可用性和数据的容错性的方法。

发明内容

本发明的目的在于提供一种云存储的数据存取的方法、装置及系统，旨在解决现有云存储方法无法有效抵御因非存储硬件级别的灾害引起的云存储服务短暂不可用时造成的数据暂时无法取回，数据丢失及被篡改的风险的问题。

本发明提供了一种云存储的数据存取的方法，所述方法包括数据的存储与数据的取回，

所述数据的存储步骤包括：

在数据的发送端创建待存储原始数据的数据校验值；

按预置的冗余存放策略将所述原始数据及数据校验值分别传输至不同的云存储数据中心存储；

所述数据的取回步骤包括：

根据访问请求按预置的冗余存放策略访问存储原始数据的云存储数据中心；

判断所述存储原始数据的云存储数据中心是否可用，如果不可用，则从其它云存储数据中心取回所述原始数据的数据校验值和创建所述原始数据的数据校验值所使用的数据；

根据所述原始数据的数据校验值及创建所述原始数据的数据校验值所使用的数据还原所述原始数据。

本发明提供了一种云存储的数据存取的装置，所述装置包括数据的存储模块及数据的取回模块，所述数据的存储模块包括：

数据校验值创建单元，用于在数据的发送端创建待存储原始数据的数据校验值；

数据传输单元，用于按预置的冗余存放策略将所述原始数据及数据校验值创建单元创建的数据校验值分别传输至不同的云存储数据中心存储；

所述数据的取回模块包括：

访问判断单元，用于根据访问请求按预置的冗余存放策略访问存储原始数据的云存储数据中心，以及判断云存储数据中心存储的原始数据是否可用，发送判断结果；

数据取回单元，用于根据所述访问判断单元发送的所述云存储数据中心存储的原始数据不可用的判断结果，从其它云存储数据中心取回所述原始数据的数据校验值及创建所述原始数据的数据校验值所使用的数据；

数据还原单元，用于根据所述数据取回单元取回的原始数据的数据校验值及创建所述原始数据的数据校验值所使用的数据还原所述原始数据。

本发明还提供了一种云存储的数据存取的系统，所述系统包括数据的存储模块、数据的取回模块和云存储数据中心，所述数据的存储模块包括：

数据校验值创建单元，用于在数据的发送端创建待存储原始数据的数据校验值；

数据传输单元，用于按预置的冗余存放策略将所述原始数据及数据校验值创建单元创建的数据校验值分别传输至不同的云存储数据中心存储；

所述数据的取回模块包括：

访问判断单元，用于根据访问请求按预置的冗余存放策略访问存储原始数据的云存储数据中心，以及判断云存储数据中心存储的原始数据是否可用，发送判断结果；

数据取回单元，用于根据所述访问判断单元发送的所述云存储数据中心存储的原始数据不可用的判断结果，从其它云存储数据中心取回所述原始数据的数据校验值及创建所述原始数据的数据校验值所使用的数据；

数据还原单元，用于根据所述数据取回单元取回的原始数据的数据校验值及创建所述原始数据的数据校验值所使用的数据还原所述原始数据。

本发明通过在数据发送端运用逻辑运算创建待存储原始数据的数据校验值，将待存储原始数据及数据校验值按预置的冗余存放策略存储于不同的云存储数据中心，在云存储数据中心级别创建数据的冗余，从而大大地提高了云存储数据的可用性和容错性。

附图说明

图1是本发明实施例提供的云存储的数据存取的方法流程图；

图2是本发明实施例提供的数据冗余存放方法的原理示意图；

图3是本发明实施例提供的另一数据冗余存放方法的原理示意图；

图4是本发明实施例提供的云存储的数据存取的装置结构示意图；

图5是本发明实施例提供的云存储的数据存取的系统结构示意图。

具体实施方式

为了深入了解本发明，下面结合附图及具体实施例对本发明进行详细说明。

本发明实施例通过在数据发送端创建待存储原始数据的数据校验值，将待存储原始数据及数据校验值按预置的冗余存放策略分别存储于不同的云存储数据中心，在云存储数据中心级别创建数据的冗余。

参见图1，本发明实施例提供了一种云存储的数据存取的方法，该方法包括数据的存储步骤S100及数据的取回步骤S200；

其中，数据的存储步骤S100具体包括：

步骤S101：在数据发送端创建待存储原始数据的数据校验值；

在实际应用中，原始数据可以包括文件或者文件的部分数据；在数据发送端创建待存储原始数据的数据校验值所使用的数据及数据校验值的个数能被云存储数据中心的个数整除，如果不能被整除，则需要用其它数据补足；原始数据的数据校验值可以但不限于通过异或逻辑运算创建，相应地，通过异或逻辑运算还原原始数据；通常情况下，创建待存储原始数据的数据校验值所使用的数据包括待存储的原始数据以及至少一个固定长度的二进制数，例如：可以使用原始数据与一个具有4个比特的二进制数1001进行异或逻辑运算创建数据校验值，或者使用原始数据与二个具有6个比特位的二进制数100100、001000进行异或逻辑运算创建数据校验值等；另外，用户可以根据实际需要创建一个或多个原始数据的数据校验值；

步骤S102：按预置的冗余存放策略将原始数据及数据校验值分别传输至不同的云存储数据中心存储；

原始数据及数据校验值分别存储于不同的多个云存储数据中心，具体地，用户可以依据自己的实际需要制定相应的冗余存放策略，将原始数据及数据校验值按制定的冗余存放策略来存放；创建的数据经校验值可以存储于同一个云存储数据中心，也可以存储于不同的云存储数据中心；通常情况下，用户会将创建的数据校验值分别存储于不同的云存储数据中心，以防止两个或者多个云存储服务同时不可用；

原始数据及其校验值的冗余存放策略有很多种，以下举两个实例：

1、将所有待存储原始数据的校验值统一存放在一个云存储数据中心，如图2所示，假如有四个不同的云存储数据中心可用时，将第一部分原始数据D1存放在云存储服务提供商1的云存储数据中心中，依次类推，将第二部分原始数据D2、第三部分原始数据D3分别存放在云存储服务提供商2、3的云存储数据中心，最后将所有原始数据的校验值P1存放在云存储服务提供商4的云存储数据中心；同理将其它的原始数据及对应的数据校验值按上述方法依次存储于上述四个云存储数据中心中；

2、将所有原始数据和对应的数据校验值均匀地混合地存放在各个云存储数据中心，如图3所示，假如有四个不同的云存储数据中心可用时，将第一部分原始数据D1存放在云存储服务提供商1的云存储数据中心中，将第二部分原始数据D2、第三部分原始数据D3分别存放在云存储服务提供商2、3的云存储数据中心中，最后将所有原始数据的校验值P1存放在云存储服务提供商4的云存储数据中心中；将原始数据D4、D5、D6及它们的校验值P2，分别存放在云存储数据中心1、2、4和3；类似地，将原始数据D7、D8、D9及它们的校验值P3，分别存放在云存储数据中心1、3、4和2；同理，其它的原始数据及对应的数据校验值按上述方法依次存储于上述四个云存储数据中心中；

以上仅举出了两种原始数据和数据校验值冗余存放策略，真实实现中用户可以根据自己的实际需要采用其他冗余数据存放策略，例如：原始数据和数据校验值交替存放。

其中，数据的取回步骤S200具体包括：

步骤S201：根据访问请求按预置的冗余存放策略访问存储原始数据的云存储数据中心；

步骤S202：判断云存储数据中心存储的原始数据是否可用，如果不可用，则执行步骤S203，如果可用，则执行步骤S205；

步骤S203：从其它云存储数据中心取回原始数据的数据校验值及创建原始数据的数据校验值所使用的数据；

步骤S204：根据数据校验值及创建原始数据的数据校验值所使用的数据还原原始数据；

步骤S205：从云存储数据中心取回原始数据；

同创建原始数据的数据校验值所使用的计算方法相对应，本实施例在根据数据校验值还原因云存储数据中心的原始数据不可用而不能取回原始数据时，同样采用异或逻辑运算方法进行原始数据的还原；

下面举例说明，如果数据冗余存放策略采用上述第二种方法，参见图3，假定第二个云存储服务商的云存储数据中心的原始数据不可用，现在需要根据从另外三个云存储数据中心取回的其它原始数据及数据校验值来还原存储于第二个云存储数据中心的原始数据，比如需要恢复原始数据D2，那么根据从其它云存储数据中心取回的原始数据D1、D3和该原始数据D2的校验值P1，按照异或运算法则得到该原始数据D2，即：

$D2=D1\⊕D3\⊕P1$

同理，也可以还原其他原存放在第二个云存储数据中心的其他原始数据。

参见图4，本发明实施例提供了一种云存储的数据存取的装置，该装置包括：数据的存储模块20及数据的取回模块30；

数据的存储模块20包括数据校验值创建单元21及数据传输单元22；数据的取回模块30包括访问判断单元33、数据取回单元31及数据还原单元32；

在存储数据时，数据校验值创建单元21在数据的发送端创建待存储的原始数据的数据校验值后，数据传输单元22按预置的冗余存放策略将原始数据及数据校验值创建单元21创建的数据校验值分别传输至不同的云存储数据中心进行存储；

当有原始数据访问请求时，访问判断单元33根据访问请求按预置的冗余存放策略访问存储原始数据的云存储数据中心，并判断云存储数据中心存储的原始数据是否可用；当该云存储数据中心的该原始数据不可用时，数据取回单元31从其它云存储数据中心取回该原始数据的数据校验值及创建该原始数据的数据校验值所使用的数据；数据还原单元32根据数据取回单元31取回的原始数据的数据校验值及创建该原始数据的数据校验值所使用的数据还原该原始数据。

参见图5，本发明实施例还提供了一种云存储的数据存取的系统，该系统包括数据的存储模块20、数据的取回模块30和云存储数据中心40；

数据的存储模块20包括数据校验值创建单元21及数据传输单元22；数据的取回模块30包括访问判断单元33、数据取回单元31及数据还原单元32；

在存储数据时，数据校验值创建单元21在数据的发送端创建待存储的原始数据的数据校验值后，数据传输单元22按预置的冗余存放策略将原始数据及数据校验值创建单元21创建的数据校验值分别传输至不同的云存储数据中心40进行存储；

当有原始数据访问请求时，访问判断单元33根据访问请求按预置的冗余存放策略访问存储原始数据的云存储数据中心40，并判断云存储数据中心40存储的原始数据是否可用；当该云存储数据中心40的该原始数据不可用时，数据取回单元31从其它云存储数据中心40取回该原始数据的数据校验值及创建该原始数据的数据校验值所使用的数据；数据还原单元32根据数据取回单元31取回的原始数据的数据校验值及创建该原始数据的数据校验值所使用的数据还原该原始数据。

为了阐述本发明可行性，下面举一典型的数据校验值生成实例，该例主要通过数据位异或(XOR)逻辑运算生成数据校验值。

记

为a与b的异或运算，a、b＝0或者1。异或运算遵循以下规则：

1、如果a、b相同(即同为0，或者同为1)，则

反之

$\⊕b=1;$

2、 $a\⊕b\⊕c=a\⊕(b\⊕c)=(a\⊕b)\⊕c;$

3、

在使用公共云存储服务时，用户存放在第三方云存储数据中心的数据无论是文件或数据块，它们在物理上均表现为一串0、1值。

假定现有三段待备份存储到指定云存储数据中心的原始数据D1、D2、D3，如果D1、D2、D3不等长，需要通过补足0位使之等长，有四个不同的云存储数据中心可用。

在传输到指定的云存储数据中心前，根据可用的云存储数据中心的数量在上述原始数据之间做异或逻辑运算，进而产生该待存储原始数据的数据校验值P1。

数据校验值 $P1=D1\⊕D2\⊕D3.$

循环使用上述方法直到生成所有待存储原始数据的数据校验值。

如果待存储原始数据及其对应的数据校验值的个数不能被所指定的云存储数据中心的个数整除时，可以使用其它的数据或指定一定长度的0、1串补足，产生待存储原始数据的数据校验值。

数据校验值的生成方法已经成熟，以上仅为一种典型数据校验值生成方法，用户还可以根据需要生成两份甚至多份数据校验值并分别存放于不同的云存储数据中心，以防止两个或者多个云存储数据中心的原始数据同时不可用。

待所有待存储原始数据的校验值生成后，根据可用的云存储数据中心的数量，将待存储原始数据及其数据校验值冗余地存放在不同的云存储数据中心，从而可以达到抵御任何一个云存储数据中心的原始数据不可用或数据丢失或被篡改的风险。

当云存储数据中心的原始数据短暂不可用或者长期不可用时，用户就可以通过原始数据的数据校验值辅助以恢复原始数据。

以上所述仅是保存一份数据校验值，具体实施中用户可以通过保存两份或者多份数据校验值确保存储在两个或者多个云存储数据中心的原始数据不可用的时候，原始数据仍然可以还原。只是保存多份数据校验值将增加对存储空间的需求，从而增加成本。因数据还原方法类似，不再赘述。

本发明实施例通过在数据发送端创建待存储原始数据的校验值，将待存储原始数据及其校验值，按照预置的策略分别存放在不同的云存储数据中心，在不同的云存储数据中心之间创建数据的冗余，从而实现了防御因非存储硬件级别的原因带来的数据不可用、数据丢失或被篡改的风险，提高了公共云存储服务数据的可用性和数据的容错性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种云存储的数据存取的方法，所述方法包括数据的存储与数据的取回，其特征在于，

所述数据的存储步骤包括：

在数据的发送端创建待存储原始数据的数据校验值；

按预置的冗余存放策略将所述原始数据及数据校验值分别传输至不同的云存储数据中心存储；

所述数据的取回步骤包括：

根据访问请求按预置的冗余存放策略访问存储原始数据的云存储数据中心；

判断所述云存储数据中心存储的原始数据是否可用，如果不可用，则从其它云存储数据中心取回所述原始数据的数据校验值和创建所述原始数据的数据校验值所使用的数据；

根据所述原始数据的数据校验值及创建所述原始数据的数据校验值所使用的数据还原所述原始数据。

2.如权利要求1所述的云存储的数据存取的方法，其特征在于，所述创建待存储原始数据的数据校验值是通过异或逻辑运算创建原始数据的数据校验值；相应地，所述还原所述原始数据是通过异或逻辑运算还原原始数据。

3.如权利要求1所述的云存储的数据存取的方法，其特征在于，所述创建待存储原始数据的数据校验值所使用的数据及所述数据校验值的个数能被所述云存储数据中心的个数整除。

4.如权利要求1所述的云存储的数据存取的方法，其特征在于，所述创建所述原始数据的数据校验值所使用的数据包括所述原始数据和至少一个固定长度的二进制数。

5.如权利要求1所述的云存储的数据存取的方法，其特征在于，所述数据校验值存储于同一个云存储数据中心，或存储于不同的云存储数据中心。

6.一种云存储的数据存取的装置，所述装置包括数据的存储模块及数据的取回模块，其特征在于，

所述数据的存储模块包括：

数据校验值创建单元，用于在数据的发送端创建待存储原始数据的数据校验值；

数据传输单元，用于按预置的冗余存放策略将所述原始数据及数据校验值创建单元创建的数据校验值分别传输至不同的云存储数据中心存储；

所述数据的取回模块包括：

访问判断单元，用于根据访问请求按预置的冗余存放策略访问存储原始数据的云存储数据中心，以及判断云存储数据中心存储的原始数据是否可用，发送判断结果；

数据取回单元，用于根据所述访问判断单元发送的所述云存储数据中心存储的原始数据不可用的判断结果，从其它云存储数据中心取回所述原始数据的数据校验值及创建所述原始数据的数据校验值所使用的数据；

数据还原单元，用于根据所述数据取回单元取回的原始数据的数据校验值及创建所述原始数据的数据校验值所使用的数据还原所述原始数据。

7.一种云存储的数据存取的系统，所述系统包括数据的存储模块、数据的取回模块和云存储数据中心，其特征在于，

所述数据的存储模块包括：

数据校验值创建单元，用于在数据的发送端创建待存储原始数据的数据校验值；

数据传输单元，用于按预置的冗余存放策略将所述原始数据及数据校验值创建单元创建的数据校验值分别传输至不同的云存储数据中心存储；

所述数据的取回模块包括：

访问判断单元，用于根据访问请求按预置的冗余存放策略访问存储原始数据的云存储数据中心，以及判断云存储数据中心存储的原始数据是否可用，发送判断结果；

数据取回单元，用于根据所述访问判断单元发送的所述云存储数据中心存储的原始数据不可用的判断结果，从其它云存储数据中心取回所述原始数据的数据校验值及创建所述原始数据的数据校验值所使用的数据；

数据还原单元，用于根据所述数据取回单元取回的原始数据的数据校验值及创建所述原始数据的数据校验值所使用的数据还原所述原始数据。

Images