CN105045536A - 一种数据存储的方法、装置与系统 - Google Patents

Abstract

本发明的目的是提供一种数据存储的方法、装置与系统。其中，本发明由数据存储设备和分布式数据存储系统相配合来存储数据。其中，数据存储设备获取待存储的数据并本地存储该数据，并且，数据存储设备将根据该数据的内容所确定的该数据的本地验证信息以及数据的标识信息发送至分布式数据存储系统，以供分布式数据存储系统根据至少一个数据存储设备发送的数据的标识信息及本地验证信息更新该数据的全局验证信息。当接收到对数据的访问请求时，数据存储设备从分布式数据存储系统获取该数据的全局验证信息，并且当该数据的本地验证信息与全局验证信息一致时，数据存储设备提供其本地存储的所述数据。

Description

一种数据存储的方法、装置与系统

技术领域

本发明涉及数据存储技术领域，尤其涉及一种数据存储的技术。

背景技术

当前，随着通信、信息技术的发展，用户对数据的访问量呈几何级增长。由单机来存储数据、并为用户提供所存储的数据的方案显然难以响应大量的数据访问请求。采用多机大集群的方式分别地利用每个单机的本地磁盘来存储数据、并为用户提供本地存储的数据，可以显著地分担负载、提高性能，从而可以较好地响应大量数据访问请求。

然而，多机大集群存储数据的方案的问题主要在于：由于集群中的每一个单机分别独立地存储数据、为用户提供数据，当数据被集群中的一个单机改变时，集群中的其他单机无法获知数据已发生变化。例如，集群中的单机A更改了数据源中的数据，而集群中的单机B无法获知相同的数据已被更改的消息。此时，集群B为用户提供的其本地磁盘所存储的未被更改的数据被称为脏数据。多机大集群的存储方案可能产生大量脏数据，无法满足大部分业务场景的使用需求。

此外，现有技术中存在由分布式数据存储系统来存储数据、并为用户提供数据的方案。这种存储方案不易产生脏数据。然而，分布式数据存储系统存储数据的方案的问题主要在于：分布式数据存储系统的存储空间非常宝贵，适合小数据的快速存取，不适宜存储大块的数据。

发明内容

本发明的目的是提供一种数据存储的方法、装置与系统。

根据本发明的一个方面，提供了一种在数据存储设备中进行数据存储的方法，其中，所述数据存储设备供本地访问；

其中，该方法包括：

-获取待存储的数据；

-根据所述数据的内容，确定所述数据的本地验证信息；

-将所述数据的标识信息及本地验证信息发送至分布式数据存储系统，所述分布式数据存储系统存储有基于所述数据的各本地验证信息所获得的全局验证信息；

-本地存储所述数据。

根据本发明的另一个方面，还提供了一种在分布式数据存储系统中进行数据存储的方法，其中，该方法包括：

-自至少一个数据存储设备接收数据的标识信息及相应数据存储设备对应所述数据的本地验证信息；

-根据所述标识信息及所述本地验证信息，更新所述数据的全局验证信息；

其中，该方法还包括：

-根据其中一个或多个数据存储设备对数据的全局验证信息的获取请求，向相应数据存储设备返回其所请求的数据的全局验证信息。

根据本发明的再一个方面，还提供了一种数据存储方法，其中，该方法包括：

-数据存储设备获取待存储的数据；

-所述数据存储设备根据所述数据的内容，确定所述数据的本地验证信息；

-所述数据存储设备将所述数据的标识信息及本地验证信息发送至分布式数据存储系统；

-所述分布式数据存储系统根据至少一个所述数据存储设备发送的所述数据的标识信息及本地验证信息，更新所述数据的全局验证信息；

-所述数据存储设备本地存储所述数据；

其中，该方法还包括：

-当所述数据存储设备接收到对所述数据的访问请求时，从所述分布式数据存储系统获取所述数据的全局验证信息；

-当所述数据的本地验证信息与所述全局验证信息一致时，所述数据存储设备提供其本地存储的所述数据。

根据本发明的一个方面，还提供了一种在数据存储设备中进行数据存储的装置，其中，所述数据存储设备供本地访问；

其中，该装置包括：

-用于获取待存储的数据的装置；

-用于根据所述数据的内容，确定所述数据的本地验证信息的装置；

-用于将所述数据的标识信息及本地验证信息发送至分布式数据存储系统的装置，所述分布式数据存储系统存储有基于所述数据的各本地验证信息所获得的全局验证信息；

-用于本地存储所述数据的装置。

根据本发明的另一个方面，还提供了一种用于数据存储的分布式数据存储系统，其中，该分布式数据存储系统包括：

-用于自至少一个数据存储设备接收数据的标识信息及相应数据存储设备对应所述数据的本地验证信息的装置；

-用于根据所述标识信息及所述本地验证信息，更新所述数据的全局验证信息的装置；

其中，该装置还包括：

-用于根据其中一个或多个数据存储设备对数据的全局验证信息的获取请求，向相应数据存储设备返回其所请求的数据的全局验证信息的装置。

根据本发明的再一个方面，还提供了一种数据存储系统，其中，该系统包括如前所述的在数据存储设备中进行数据存储的装置和如前所述的用于数据存储的分布式数据存储系统。

与现有技术相比，本发明由数据存储设备和分布式数据存储系统相配合来存储数据。其中，数据存储设备获取待存储的数据并本地存储该数据，并且，数据存储设备将根据该数据的内容所确定的该数据的本地验证信息以及数据的标识信息发送至分布式数据存储系统，以供分布式数据存储系统根据至少一个数据存储设备发送的数据的标识信息及本地验证信息更新该数据的全局验证信息。当接收到对数据的访问请求时，数据存储设备从分布式数据存储系统获取该数据的全局验证信息，并且当该数据的本地验证信息与全局验证信息一致时，数据存储设备提供其本地存储的所述数据。

本发明至少具有以下有益效果：1)本发明可以使数据存储设备具有对数据变化的感知能力。数据存储设备可以通过验证本地验证信息是否与全局验证信息一致，来判断数据是否发生了变化，从而避免了提供脏数据；2)大块的数据可以被存储到数据存储设备的本地文件系统，分布式数据存储系统仅存储数据的全局验证信息，对存储空间的消耗量很低，同时提高了数据存取效率；3)整个数据存储系统中数据的交互量可以被有效降低。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本发明一个实施例的一种数据存储系统的示意图；

图2示出根据本发明一个实施例的一种数据存储设备与分布式数据存储系统相配合来存储数据的方法流程图；

图3示出根据本发明一个优选实施例的一种数据存储设备与分布式数据存储系统相配合来存储数据的方法流程图；

图4示出根据本发明一个实施例的一种数据存储设备与分布式数据存储系统相配合来存储数据的系统示意图；

图5示出根据本发明一个优选实施例的一种数据存储设备与分布式数据存储系统相配合来存储数据的系统示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本文后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。

应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

本领域技术人员应能理解，本发明中所述“存储数据”包括但不限于各种将数据记录在内部或外部的存储介质上的存储形式。所述存储介质包括但不限于硬盘、内存、缓存等。

优选地，所述“存储数据”包括将数据记录在缓存中(对数据进行缓存)。

下面结合附图对本发明作进一步详细描述。

图1示出根据本发明一个实施例的一种数据存储系统的示意图。

如图1所示，该数据存储系统包括一个分布式数据存储系统以及多个数据存储设备(数据存储设备1、数据存储设备2、数据存储设备3......数据存储设备n)。

所述分布式数据存储系统包括但不限于任何分布式地部署多个存储节点并可以对外提供统一访问接口的存储系统。

所述分布式数据存储系统例如高性能内存对象缓存系统(Memcached)等。Memcached的特点在于其可以分布式地部署和访问，但其存储空间非常宝贵，适合小数据的快速存取。

每个数据存储设备具有本地文件系统，本地文件系统特指本地磁盘。本地文件系统的特点在于其仅可以由数据存储设备本机访问。每个数据存储设备仅可以从其自身的本地文件系统以及分布式数据存储系统中读取、存储数据。每个数据存储设备不能对其他数据存储设备的本地文件系统进行读取数据、存储数据的操作。

多个数据存储设备可以被认为组成集群系统。对一个集群系统中的每个数据存储设备来说，该数据存储设备所接收到的对其本地文件系统中的数据的访问请求可以认为不存在性能瓶颈，也即，数据存储设备可以迅速、及时地获得其本地文件系统中的数据。即使存在性能瓶颈，通过对本地文件系统进行的简单扩容也可以迅速化解。

本发明充分利用了数据存储设备、分布式数据存储系统各自的性能优势，从而既提升了数据存储性能，又解决了数据存储不同步的问题。

本发明的有益效果至少包括：1)数据存储设备具有对数据变化的感知能力。数据存储设备可以通过验证本地验证信息是否与全局验证信息一致，来判断数据是否发生了变化，从而避免了提供脏数据；

2)大块的数据可以被存储到数据存储设备的本地文件系统，分布式数据存储系统仅存储数据的全局验证信息，对存储空间的消耗量很低；

3)整个数据存储系统中数据的交互量可以被降低。

为简单说明起见，在下文中本发明多以数据存储设备1与分布式数据存储系统相配合地存储数据来进行举例。本领域技术人员应能理解，其他数据存储设备与分布式数据存储设备相配合地存储数据的方式与数据存储设备1与分布式数据存储系统相配合地存储数据的方式相同或基本相同，因此不再赘述。

图2示出根据本发明一个实施例的方法流程图，其具体示出一种数据存储设备与分布式数据存储系统相配合来存储数据的过程。在步骤S201中，数据存储设备1获取待存储的数据；在步骤S202中，数据存储设备1根据该数据的内容，确定该数据的本地验证信息；在步骤S203中，数据存储设备1将该数据的标识信息及本地验证信息发送至分布式数据存储系统，相应地，分布式数据存储系统自数据存储设备1接收该数据的标识信息及数据存储设备1对应该数据的本地验证信息；在步骤S204中，分布式数据存储系统根据该数据的标识信息及数据存储设备1对应该数据的本地验证信息，更新该数据的全局验证信息，所述全局验证信息基于各数据存储设备对应该数据的各本地验证信息获得；在步骤S209中，数据存储设备1本地存储该数据。

具体地，在步骤S201中，数据存储设备1获取待存储的数据。

在此，数据存储设备1例如可以从数据源获取待存储的数据。其中，所述数据源例如存储数据的原始数据库。

待存储的数据可以为任何内容的数据，如网页数据、多媒体数据等。

在步骤S202中，数据存储设备1根据该数据的内容，确定该数据的本地验证信息。

在此，所述数据的本地验证信息意指用于验证本地数据的数据内容的信息。

数据存储设备1例如可以基于各种内容摘要算法，根据数据的内容生成本地验证信息。所述内容摘要算法例如各种HASH加密算法，诸如MD5算法、SHA1算法等。

优选地，所述数据的本地验证信息包括数据的内容签名信息。

所述数据的内容签名信息包括但不限于各种基于数据的内容获得的签名信息。所述数据的内容签名信息例如MD5值等。

在步骤S203中，数据存储设备1将该数据的标识信息及本地验证信息发送至分布式数据存储系统，相应地，分布式数据存储系统自数据存储设备1接收该数据的标识信息及数据存储设备1对应该数据的本地验证信息。

在此，数据的标识信息(key)包括但不限于各种用于标识数据的信息。数据的标识信息例如数据编号(ID)。

在步骤S204中，分布式数据存储系统根据该数据的标识信息及数据存储设备1对应该数据的本地验证信息，更新该数据的全局验证信息，所述全局验证信息基于各数据存储设备对应该数据的各本地验证信息获得。

在此，数据的全局验证信息意指用于在整个数据存储系统(包括其中的所有数据存储设备以及分布式数据存储系统)中全局地验证数据的数据内容的信息。

在此，分布式数据存储系统至少可以基于以下2种方式更新数据的全局验证信息：

1)分布式数据存储系统可以直接将数据存储设备1对应该数据的本地验证信息确定为该数据的全局验证信息。

在此，无论分布式数据存储系统此前是否存储有相同的标识信息的数据的全局验证信息，分布式数据存储系统均可以直接将最新接收的对应该数据的本地验证信息确定为该数据的全局验证信息，具体到本实施例，分布式数据存储系统可以直接将其在步骤S203中所接收到的数据存储设备1对应该数据的本地验证信息确定为该数据的全局验证信息。

其中，如果分布式数据存储系统此前存储有相同的标识信息的数据的全局验证信息，无论该全局验证信息是否与分布式数据存储系统在步骤S203中所接收到的数据存储设备1对应该数据的本地验证信息一致，分布式数据存储系统均可以直接将在步骤S203中所接收到的数据存储设备1对应该数据的本地验证信息确定为该数据的全局验证信息。

2)分布式数据存储系统可以将在步骤S203中所接收到的数据存储设备1对应该数据的本地验证信息与此前所存储的相同的标识信息的数据的全局验证信息进行比较，以更新数据的全局验证信息。

其中，分布式数据存储系统总是将最新接收的对应于一数据的本地验证信息与其已存储的该数据的全局验证信息进行比较，当两者不同时，将最新接收的数据的本地验证信息作为其全局验证信息。具体到本实施例，如果分布式数据存储系统在步骤S203中所接收到的数据存储设备1对应该数据的本地验证信息与此前所存储的相同的标识信息的数据的全局验证信息一致，分布式数据存储系统可以保留原全局验证信息，或者，分布式数据存储系统也可以采用在步骤S203中所接收到的数据存储设备1对应该数据的本地验证信息覆盖原全局验证信息。

如果分布式数据存储系统在步骤S203中所接收到的数据存储设备1对应该数据的本地验证信息与此前所存储的相同的标识信息的数据的全局验证信息不一致，分布式数据存储系统可以采用在步骤S203中所接收到的数据存储设备1对应该数据的本地验证信息替换原全局验证信息。

本领域技术人员应能理解，前述2种更新数据的全局验证信息的方式仅为举例，而不应被视为对本发明的任何限制，任何现有其它或今后可能出现的更新数据的全局验证信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

优选地，数据的本地验证信息还可以对应一过期时间。当数据的本地验证信息所对应的过期时间到期时，分布式数据存储系统可以对由该本地验证信息确定的全局验证信息做失效处理。失效处理后的全局验证信息将不可再被使用。

过期时间的具体数值可以根据具体应用需要进行设置。过期时间的单位例如“小时”、“天”等时间单位。

在步骤S209中，数据存储设备1本地存储该数据。

在此，数据存储设备1可以将数据存储至数据存储设备1的本地文件系统中。

在此，数据存储设备1进行步骤S203与步骤S209的先后顺序存在多种方式。例如，数据存储设备1可以同时地进行这两个步骤。又如，数据存储设备1也可以先进行其中一个步骤，随后再进行另一个步骤。

在前文中，本说明书仅通过步骤S201至步骤S209示出了数据存储设备1与分布式数据存储系统的交互过程。然而，本领域技术人员应能理解，在数据存储系统中存在多个数据存储设备。这些数据存储设备中任一个数据存储设备均可以与分布式数据存储系统进行交互。并且，分布式数据存储系统所存储的数据的全局验证信息基于各数据存储设备对应该数据的各本地验证信息获得。其中，各数据存储设备基于相同的、统一的内容摘要算法，根据数据的内容生成本地验证信息。在此，分布式数据存储系统始终根据最新接收到的来自数据存储设备对应一数据的本地验证信息以及该数据的标识信息，来更新该数据的全局验证信息。这种更新数据的全局验证信息的机制的益处在于：对于同一数据(同一数据具有相同的标识信息)来说，一旦该数据发生了变化，任一个数据存储设备根据变化后的数据生成的本地验证信息也会发生变化。随后，数据存储设备将该数据的标识信息及变化后数据的本地验证信息发送至分布式数据存储系统，相应地，分布式数据存储系统接收该数据的标识信息及该数据存储设备对应该变化后数据的本地验证信息。接着，分布式数据存储系统根据标识信息以及变化后数据的本地验证信息，更新该数据的全局验证信息。因此，该数据的全局验证信息也发生了变化。也即，该数据的全局验证信息可以始终与变化后的最新的数据相对应。

图3示出根据本发明一个优选实施例的方法流程图，其具体示出一种数据存储设备与分布式数据存储系统相配合来存储数据的过程。在步骤S301中，数据存储设备1获取待存储的数据；在步骤S302中，数据存储设备1根据该数据的内容，确定该数据的本地验证信息；在步骤S303中，数据存储设备1将该数据的标识信息及本地验证信息发送至分布式数据存储系统，相应地，分布式数据存储系统自数据存储设备1接收该数据的标识信息及数据存储设备1对应该数据的本地验证信息；在步骤S304中，分布式数据存储系统根据该数据的标识信息及数据存储设备1对应该数据的本地验证信息，更新该数据的全局验证信息，所述全局验证信息基于各数据存储设备对应该数据的各本地验证信息获得；在步骤S309中，数据存储设备1本地存储该数据；在步骤S311中，当接收到对该数据的访问请求时，数据存储设备1从分布式数据存储系统获取该数据的全局验证信息；在步骤S312中，当该数据的本地验证信息与全局验证信息一致时，数据存储设备1提供本地存储的该数据。

其中，图3的步骤S301、步骤S302、步骤S303、步骤S304、步骤S309与图1中的对应步骤(步骤S201、步骤S202、步骤S203、步骤S204、步骤S209)相同或相似，故在此不再赘述，并通过引用的方式包含于此。以下将主要具体描述步骤S311和S312。

具体地，在步骤S311中，当接收到对数据的访问请求时，数据存储设备1从分布式数据存储系统获取该数据的全局验证信息。

在此，所述对数据的访问请求包括但不限于用户对数据的访问请求等。

对数据的访问请求中包括数据的标识信息。数据存储设备1可以向分布式数据存储系统发送对数据的全局验证信息的获取请求，该获取请求中包括该数据的标识信息。相应地，分布式数据存储系统接收对该数据的全局验证信息的获取请求。接着，分布式数据存储系统根据该数据的标识信息，查询其所存储的数据的标识信息与全局验证信息的对应关系，以获取该标识信息所对应的数据的全局验证信息。随后，分布式数据存储系统将该数据的全局验证信息提供给数据存储设备1。相应地，数据存储设备1获得该数据的全局验证信息。

在此，如果获取数据的全局验证信息失败，数据存储设备1还可以基于数据的标识信息，重新获取与该标识信息对应的数据。

数据存储设备1可以基于数据的标识信息，例如从数据源重新获取该标识信息对应的数据。数据存储设备1可以将重新获取的数据提供给数据的请求方。

其中，数据存储设备1获取数据的全局验证信息失败包括但不限于以下2种情形：

1)分布式数据存储系统所存储的数据的全局验证信息失效，如该数据的本地验证信息所对应的过期时间到期。

2)分布式数据存储系统所存储的数据的全局验证信息被损坏。

在步骤S312中，当数据的本地验证信息与全局验证信息一致时，数据存储设备1提供本地存储的该数据。

在此，数据存储设备1至少可以通过以下2种方式获得数据的本地验证信息：

1)数据存储设备1获得本地存储的数据的本地验证信息。

优选地，在S309中，数据存储设备1不仅本地存储数据，还存储数据的本地验证信息。

在此，数据存储设备1可以根据数据的标识信息，读取本地所存储的该标识信息所对应的数据的本地验证信息。

2)数据存储设备1根据本地存储的数据，确定该数据的本地验证信息。

在此，数据存储设备1可以根据数据的标识信息，读取本地所存储的该标识信息所对应的数据。接着，数据存储设备1基于与步骤S302中所采用的相同的内容摘要算法，重新计算该数据的本地验证信息。

本领域技术人员应能理解，前述获得数据的本地验证信息的方式仅为举例，而不应被视为对本发明的任何限制，任何现有其它或今后可能出现的获得数据的本地验证信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

其中，如果获取本地所存储的数据的本地验证信息或本地所存储的数据失败(例如本地所存储的数据的本地验证信息或本地所存储的数据被损坏)，数据存储设备1还可以基于数据的标识信息，重新获取与该标识信息对应的数据。

数据存储设备1可以基于数据的标识信息，例如从数据源重新获取该标识信息对应的数据。数据存储设备1可以将重新获取的数据提供给数据的请求方。

数据存储设备1将数据的本地验证信息与全局验证信息进行比较，当数据的本地验证信息与全局验证信息一致时，数据存储设备1可以读取本地所存储的数据，并将该数据提供给数据的请求方。或者，数据存储设备1可以直接将此前已读取的本地所存储的数据提供给数据的请求方。

在此，数据的本地验证信息与全局验证信息一致表示该数据未发生变化。也即，该数据并非脏数据。

优选地，当数据的本地验证信息与全局验证信息不一致时，数据存储设备1还可以基于数据的标识信息，重新获取与该标识信息对应的数据。

在此，数据的本地验证信息与全局验证信息不一致表示数据存储设备1本地所存储的数据不再可用。也即，该数据为脏数据。

数据存储设备1可以基于数据的标识信息，例如从数据源重新获取该标识信息对应的数据。数据存储设备1可以将重新获取的数据提供给数据的请求方。相对数据存储设备1此前所存储的数据，数据存储设备1重新获取的数据已发生变化。

更优选地，在重新获取数据之后，数据存储设备1可以与分布式数据存储系统相配合，以再次重复进行存储数据的步骤。也即，数据存储设备1根据重新获取的数据的内容，确定该数据的本地验证信息。随后，数据存储设备1将重新获取的数据的标识信息及本地验证信息发送至分布式数据存储系统，相应地，分布式数据存储系统自数据存储设备1接收该数据的标识信息及数据存储设备1对应该数据的本地验证信息。接着，分布式数据存储系统根据该数据的标识信息及数据存储设备1对应该数据的本地验证信息，更新该数据的全局验证信息。数据存储设备1本地存储该重新获取的数据。

在前文中，本说明书仅通过步骤S311、S312示出了当接收到对数据的访问请求时，数据存储设备1通过与分布式数据存储系统交互来验证数据存储设备1本地所存储的数据并提供通过验证的数据的过程。然而，本领域技术人员应能理解，在数据存储系统中存在多个数据存储设备。这些数据存储设备中任一个数据存储设备均可以与分布式数据存储系统进行交互，以验证相应数据存储设备本地所存储的数据并提供通过验证的数据。由于数据的全局验证信息可以始终与变化后的最新的数据相对应，通过验证的数据即为最新的数据而不可能为脏数据。因此，数据存储设备具有了对数据变化的感知能力。数据存储设备可以通过本地验证信息是否与全局验证信息一致，来判断数据是否发生了变化，从而避免了提供脏数据。

本领域技术人员应能理解，对于经常变化的数据，分布式数据存储系统所存储的该数据的全局验证信息也会经常变化。当接收到对数据的访问请求时，由于数据存储设备所存储的该数据的本地验证信息通常与全局验证信息不一致，数据存储设备通常不得不基于数据的标识信息重新获取数据。在这种情况下，整个数据存储系统中数据的交互量难以被降低。

优选地，在步骤S301中，数据存储设备所获取的待存储的数据包括不经常变化的数据。对于不经常变化的数据，分布式数据存储系统所存储的该数据的全局验证信息变化频率较低。当接收到对数据的访问请求时，由于数据存储设备所存储的该数据的本地验证信息通常与全局验证信息一致，数据存储设备可以提供本地存储的数据。在这种情况下，整个数据存储系统中数据的交互量可以被显著降低。

图4示出根据本发明一个实施例的系统示意图，其具体示出一种数据存储系统，也即数据存储系统4。该数据存储系统4包括相配合来存储数据的数据存储设备(也即，数据存储设备41)与分布式数据存储系统(也即，分布式数据存储系统42)。其中，数据存储设备41包括在数据存储设备41中进行数据存储的装置，也即数据存储装置410。进一步地，数据存储装置410包括装置411-414。分布式数据存储系统42包括装置421和装置422。

数据存储设备41的装置411获取待存储的数据(为便于区分，以下将装置411称为待存储数据获取装置411)；装置412根据该数据的内容，确定该数据的本地验证信息(为便于区分，以下将装置412称为本地验证信息确定装置412)；装置413将该数据的标识信息及本地验证信息发送至分布式数据存储系统42(为便于区分，以下将装置413称为本地验证信息发送装置413)，相应地，分布式数据存储系统42的装置421自数据存储设备41接收该数据的标识信息及数据存储设备41对应该数据的本地验证信息(为便于区分，以下将装置421称为本地验证信息接收装置421)；分布式数据存储系统42的装置422根据该数据的标识信息及数据存储设备41对应该数据的本地验证信息，更新该数据的全局验证信息(为便于区分，以下将装置422称为全局验证信息更新装置422)，所述全局验证信息基于各数据存储设备对应该数据的各本地验证信息获得；数据存储设备41的装置414本地存储该数据(为便于区分，以下将装置414称为数据存储装置414)。

具体地，数据存储设备41的待存储数据获取装置411获取待存储的数据。

在此，待存储数据获取装置411例如可以从数据源获取待存储的数据。其中，所述数据源例如存储数据的原始数据库。

待存储的数据可以为任何内容的数据，如网页数据、多媒体数据等。

随后，数据存储设备41的本地验证信息确定装置412根据该数据的内容，确定该数据的本地验证信息。

在此，所述数据的本地验证信息意指用于验证本地数据的数据内容的信息。

本地验证信息确定装置412例如可以基于各种内容摘要算法，根据数据的内容生成本地验证信息。所述内容摘要算法例如各种HASH加密算法，诸如MD5算法、SHA1算法等。

优选地，所述数据的本地验证信息包括数据的内容签名信息。

所述数据的内容签名信息包括但不限于各种基于数据的内容获得的签名信息。所述数据的内容签名信息例如MD5值等。

随后，数据存储设备41的本地验证信息发送装置413将该数据的标识信息及本地验证信息发送至分布式数据存储系统42，相应地，分布式数据存储系统42的本地验证信息接收装置421自数据存储设备41接收该数据的标识信息及数据存储设备41对应该数据的本地验证信息。

在此，数据的标识信息(key)包括但不限于各种用于标识数据的信息。数据的标识信息例如数据编号(ID)。

随后，分布式数据存储系统42的全局验证信息更新装置422根据该数据的标识信息及数据存储设备41对应该数据的本地验证信息，更新该数据的全局验证信息，所述全局验证信息基于各数据存储设备对应该数据的各本地验证信息获得。

在此，数据的全局验证信息意指用于在整个数据存储系统4(包括其中的所有数据存储设备以及分布式数据存储系统)中全局地验证数据的数据内容的信息。

在此，全局验证信息更新装置422至少可以基于以下2种方式更新数据的全局验证信息：

1)全局验证信息更新装置422可以直接将数据存储设备41对应该数据的本地验证信息确定为该数据的全局验证信息。

在此，无论分布式数据存储系统42此前是否存储有相同的标识信息的数据的全局验证信息，全局验证信息更新装置422均可以直接将最新接收的对应该数据的本地验证信息确定为该数据的全局验证信息，具体到本实施例，全局验证信息更新装置422可以直接将本地验证信息接收装置421所接收到的数据存储设备41对应该数据的本地验证信息确定为该数据的全局验证信息。

其中，如果分布式数据存储系统42此前存储有相同的标识信息的数据的全局验证信息，无论该全局验证信息是否与本地验证信息接收装置421所接收到的数据存储设备41对应该数据的本地验证信息一致，全局验证信息更新装置422均可以直接将本地验证信息接收装置421所接收到的数据存储设备41对应该数据的本地验证信息确定为该数据的全局验证信息。

2)全局验证信息更新装置422可以将本地验证信息接收装置421所接收到的数据存储设备41对应该数据的本地验证信息与此前所存储的相同的标识信息的数据的全局验证信息进行比较，以更新数据的全局验证信息。

其中，分布式数据存储系统42总是将最新接收的对应于一数据的本地验证信息与其已存储的该数据的全局验证信息进行比较，当两者不同时，将最新接收的数据的本地验证信息作为其全局验证信息。具体到本实施例，如果分布式数据存储系统42的本地验证信息接收装置421所接收到的数据存储设备41对应该数据的本地验证信息与分布式数据存储系统42此前所存储的相同的标识信息的数据的全局验证信息一致，全局验证信息更新装置422可以保留原全局验证信息，或者，全局验证信息更新装置422也可以采用本地验证信息接收装置421所接收到的数据存储设备41对应该数据的本地验证信息覆盖原全局验证信息。

如果分布式数据存储系统42的本地验证信息接收装置421所接收到的数据存储设备41对应该数据的本地验证信息与分布式数据存储系统42此前所存储的相同的标识信息的数据的全局验证信息不一致，全局验证信息更新装置422可以采用本地验证信息接收装置421所接收到的数据存储设备41对应该数据的本地验证信息替换原全局验证信息。

本领域技术人员应能理解，前述2种更新数据的全局验证信息的方式仅为举例，而不应被视为对本发明的任何限制，任何现有其它或今后可能出现的更新数据的全局验证信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

优选地，数据的本地验证信息还可以对应一过期时间。当数据的本地验证信息所对应的过期时间到期时，分布式数据存储系统42或分布式数据存储系统42中的特定装置可以对由该本地验证信息确定的全局验证信息做失效处理。失效处理后的全局验证信息将不可再被使用。

过期时间的具体数值可以根据具体应用需要进行设置。过期时间的单位例如“小时”、“天”等时间单位。

数据存储设备41的数据存储装置414本地存储该数据。

在此，数据存储装置414可以将数据存储至数据存储设备41的本地文件系统中。

在此，数据存储设备41本地验证信息发送装置413与数据存储装置414执行操作的先后顺序存在多种方式。例如，本地验证信息发送装置413与数据存储装置414可以同时地执行这两个操作。又如，这两个装置中的一个装置也可以先执行其中一个步骤，随后另一个装置再执行。

在前文中，本说明书仅示出了数据存储设备41与分布式数据存储系统42的交互过程。然而，本领域技术人员应能理解，在数据存储系统4中存在多个数据存储设备。这些数据存储设备中任一个数据存储设备均可以与分布式数据存储系统42进行交互。并且，分布式数据存储系统42所存储的数据的全局验证信息基于各数据存储设备对应该数据的各本地验证信息获得。其中，各数据存储设备基于相同的、统一的内容摘要算法，根据数据的内容生成本地验证信息。在此，分布式数据存储系统42的全局验证信息更新装置422始终根据最新接收到的来自数据存储设备对应一数据的本地验证信息以及该数据的标识信息，来更新该数据的全局验证信息。这种更新数据的全局验证信息的机制的益处在于：对于同一数据(同一数据具有相同的标识信息)来说，一旦该数据发生了变化，任一个数据存储设备根据变化后的数据生成的本地验证信息也会发生变化。随后，数据存储设备将该数据的标识信息及变化后数据的本地验证信息发送至分布式数据存储系统42，相应地，分布式数据存储系统42的本地验证信息接收装置421接收该数据的标识信息及该数据存储设备对应该变化后数据的本地验证信息。接着，分布式数据存储系统42的全局验证信息更新装置422根据标识信息以及变化后数据的本地验证信息，更新该数据的全局验证信息。因此，该数据的全局验证信息也发生了变化。也即，该数据的全局验证信息可以始终与变化后的最新的数据相对应。

图5示出根据本发明一个优选实施例的系统示意图，其具体示出一种数据存储系统，也即数据存储系统5。该数据存储系统5包括相配合来存储数据的数据存储设备(也即，数据存储设备51)与分布式数据存储系统(也即，分布式数据存储系统52)。其中，数据存储设备51包括在数据存储设备51中进行数据存储的装置，也即数据存储装置510。进一步地，数据存储装置510包括装置511-516。分布式数据存储系统52包括装置521-523。

数据存储设备51的装置511获取待存储的数据(为便于区分，以下将装置511称为待存储数据获取装置511)；数据存储设备51的装置512根据该数据的内容，确定该数据的本地验证信息(为便于区分，以下将装置512称为本地验证信息确定装置512)；数据存储设备51的装置513将该数据的标识信息及本地验证信息发送至分布式数据存储系统(为便于区分，以下将装置513称为本地验证信息发送装置513)，相应地，分布式数据存储系统52的装置521自数据存储设备51接收该数据的标识信息及数据存储设备51对应该数据的本地验证信息(为便于区分，以下将装置521称为本地验证信息接收装置521)；分布式数据存储系统52的装置522根据该数据的标识信息及数据存储设备1对应该数据的本地验证信息，更新该数据的全局验证信息(为便于区分，以下将装置522称为全局验证信息更新装置522)，所述全局验证信息基于各数据存储设备对应该数据的各本地验证信息获得；数据存储设备51的装置514本地存储该数据(为便于区分，以下将装置514称为数据存储装置514)；当接收到对该数据的访问请求时，数据存储设备51的装置515(为便于区分，以下将装置515称为全局验证信息获取装置515)与分布式数据存储系统52的装置523(为便于区分，以下将装置523称为全局验证信息返回装置523)相交互，以从分布式数据存储系统52获取该数据的全局验证信息；当该数据的本地验证信息与全局验证信息一致时，数据存储设备51的装置516提供本地存储的该数据(为便于区分，以下将装置516称为数据提供装置516)。

其中，图5的待存储数据获取装置511、本地验证信息确定装置512、本地验证信息发送装置513、本地验证信息接收装置521、全局验证信息更新装置522、数据存储装置514分别所执行的操作与图4中的对应的装置(待存储数据获取装置411、本地验证信息确定装置412、本地验证信息发送装置413、本地验证信息接收装置421、全局验证信息更新装置422、数据存储装置414)分别所执行的操作相同或相似，故在此不再赘述，并通过引用的方式包含于此。以下将主要具体描述全局验证信息获取装置515、全局验证信息返回装置523、数据提供装置516分别所执行的操作。

具体地，当接收到对数据的访问请求时，数据存储设备51的全局验证信息获取装置515与分布式数据存储系统52的全局验证信息返回装置523相交互，以从分布式数据存储系统52获取该数据的全局验证信息。

在此，所述对数据的访问请求包括但不限于用户对数据的访问请求等。

对数据的访问请求中包括数据的标识信息。数据存储设备51的全局验证信息获取装置515可以向分布式数据存储系统52发送对数据的全局验证信息的获取请求，该获取请求中包括该数据的标识信息。相应地，分布式数据存储系统52的全局验证信息返回装置523接收对该数据的全局验证信息的获取请求。接着，全局验证信息返回装置523根据该数据的标识信息，查询分布式数据存储系统52所存储的数据的标识信息与全局验证信息的对应关系，以获取该标识信息所对应的数据的全局验证信息。随后，分布式数据存储系统52的全局验证信息返回装置523将该数据的全局验证信息提供给数据存储设备51。相应地，数据存储设备51的全局验证信息获取装置515获得该数据的全局验证信息。

在此，如果获取数据的全局验证信息失败，数据存储设备51或数据存储设备51中的特定装置还可以基于数据的标识信息，重新获取与该标识信息对应的数据。

数据存储设备51或数据存储设备51中的特定装置可以基于数据的标识信息，例如从数据源重新获取该标识信息对应的数据。数据存储设备51或数据存储设备51中的特定装置可以将重新获取的数据提供给数据的请求方。

其中，数据存储设备51获取数据的全局验证信息失败包括但不限于以下2种情形：

1)分布式数据存储系统52所存储的数据的全局验证信息失效，如该数据的本地验证信息所对应的过期时间到期。

2)分布式数据存储系统52所存储的数据的全局验证信息被损坏。

在从分布式数据存储系统52获取数据的全局验证信息之后，当数据的本地验证信息与全局验证信息一致时，数据存储设备51的数据提供装置516提供本地存储的该数据。

在此，数据提供装置516至少可以通过以下2种方式获得数据的本地验证信息：

1)数据提供装置516获得本地存储的数据的本地验证信息。

优选地，数据存储设备51的数据存储装置514不仅本地存储数据，还存储数据的本地验证信息。

在此，数据存储设备51的数据提供装置516可以根据数据的标识信息，读取本地所存储的该标识信息所对应的数据的本地验证信息。

2)数据存储装置510还可以包括一本地验证信息再确定装置(图5中未示出)。本地验证信息再确定装置可以根据本地存储的数据，确定该数据的本地验证信息。本地验证信息再确定装置可以将该数据的本地验证信息传递给数据提供装置516。

在此，本地验证信息再确定装置可以根据数据的标识信息，读取本地所存储的该标识信息所对应的数据。接着，本地验证信息再确定装置基于与本地验证信息确定装置512所采用的相同的内容摘要算法，重新计算该数据的本地验证信息。

优选地，本地验证信息再确定装置可以与数据提供装置516集成在一起。

本领域技术人员应能理解，前述获得数据的本地验证信息的方式仅为举例，而不应被视为对本发明的任何限制，任何现有其它或今后可能出现的获得数据的本地验证信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

其中，如果获取本地所存储的数据的本地验证信息或本地所存储的数据失败(例如本地所存储的数据的本地验证信息或本地所存储的数据被损坏)，数据存储设备51或数据存储设备51中的特定装置还可以基于数据的标识信息，重新获取与该标识信息对应的数据。

数据存储设备51或数据存储设备51中的特定装置可以基于数据的标识信息，例如从数据源重新获取该标识信息对应的数据。数据存储设备51的数据提供装置516可以将重新获取的数据提供给数据的请求方。

数据提供装置516将数据的本地验证信息与全局验证信息进行比较，当数据的本地验证信息与全局验证信息一致时，数据提供装置516可以读取本地所存储的数据，并将该数据提供给数据的请求方。或者，数据提供装置516可以直接将此前已读取的本地所存储的数据提供给数据的请求方。

在此，数据的本地验证信息与全局验证信息一致表示该数据未发生变化。也即，该数据并非脏数据。

优选地，数据存储设备51还可以包括一数据重获装置(图5中未示出)。当数据的本地验证信息与全局验证信息不一致时，数据重获装置可以基于数据的标识信息，重新获取与该标识信息对应的数据。

在此，数据的本地验证信息与全局验证信息不一致表示数据存储设备51本地所存储的数据不再可用。也即，该数据为脏数据。

数据重获装置可以基于数据的标识信息，例如从数据源重新获取该标识信息对应的数据。数据存储设备51的数据提供装置516可以将重新获取的数据提供给数据的请求方。相对数据存储设备51此前所存储的数据，数据重获装置重新获取的数据已发生变化。

优选地，数据重获装置可以与数据提供装置516集成在一起。

更优选地，在重新获取数据之后，数据存储设备51可以与分布式数据存储系统52相配合，以再次重复执行存储数据的操作。也即，数据存储设备51的本地验证信息确定装置512根据重新获取的数据的内容，确定该数据的本地验证信息。随后，数据存储设备51的本地验证信息发送装置513将重新获取的数据的标识信息及本地验证信息发送至分布式数据存储系统52，相应地，分布式数据存储系统52的本地验证信息接收装置521自数据存储设备51接收该数据的标识信息及数据存储设备51对应该数据的本地验证信息。接着，分布式数据存储系统52的全局验证信息更新装置522根据该数据的标识信息及数据存储设备51对应该数据的本地验证信息，更新该数据的全局验证信息。数据存储设备51的数据存储装置514本地存储该重新获取的数据。

在前文中，本说明书仅通过全局验证信息获取装置515、全局验证信息返回装置523、数据提供装置516分别所执行的操作示出了当接收到对数据的访问请求时，数据存储设备51通过与分布式数据存储系统52交互来验证数据存储设备51本地所存储的数据并提供通过验证的数据的过程。然而，本领域技术人员应能理解，在数据存储系统5中存在多个数据存储设备。这些数据存储设备中任一个数据存储设备均可以与分布式数据存储系统52进行交互，以验证相应数据存储设备本地所存储的数据并提供通过验证的数据。由于数据的全局验证信息可以始终与变化后的最新的数据相对应，通过验证的数据即为最新的数据而不可能为脏数据。因此，数据存储设备具有了对数据变化的感知能力。数据存储设备可以通过本地验证信息是否与全局验证信息一致，来判断数据是否发生了变化，从而避免了提供脏数据。

本领域技术人员应能理解，对于经常变化的数据，分布式数据存储系统52所存储的该数据的全局验证信息也会经常变化。当接收到对数据的访问请求时，由于数据存储设备51所存储的该数据的本地验证信息通常与全局验证信息不一致，数据存储设备51或数据存储设备51中的特定装置通常不得不基于数据的标识信息重新获取数据。在这种情况下，整个数据存储系统5中数据的交互量难以被降低。

优选地，数据存储设备51的待存储数据获取装置511所获取的待存储的数据包括不经常变化的数据。对于不经常变化的数据，分布式数据存储系统52所存储的该数据的全局验证信息变化频率较低。当接收到对数据的访问请求时，由于数据存储设备51所存储的该数据的本地验证信息通常与全局验证信息一致，数据存储设备51可以提供本地存储的数据。在这种情况下，整个数据存储系统5中数据的交互量可以被显著降低。

需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，本发明的各个装置可采用专用集成电路(ASIC)或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (16)

1.一种在数据存储设备中进行数据存储的方法，其中，所述数据存储设备供本地访问；

其中，该方法包括：

-获取待存储的数据；

-根据所述数据的内容，确定所述数据的本地验证信息；

-将所述数据的标识信息及本地验证信息发送至分布式数据存储系统，所述分布式数据存储系统存储有基于所述数据的各本地验证信息所获得的全局验证信息；

-本地存储所述数据。

2.根据权利要求1所述的方法，其中，该方法还包括：

-当接收到对所述数据的访问请求时，从所述分布式数据存储系统获取所述数据的全局验证信息；

-当所述数据的本地验证信息与所述全局验证信息一致时，提供本地存储的所述数据。

3.根据权利要求2所述的方法，其中，该方法还包括：

-当所述数据的本地验证信息与所述全局验证信息不一致时，基于所述数据的标识信息，重新获取与所述标识信息对应的数据。

4.根据权利要求2或3所述的方法，其中，所述本地存储的步骤还包括：

-本地存储所述数据的本地验证信息。

5.根据权利要求2或3所述的方法，其中，在比较所述数据的本地验证信息与全局验证信息之前，该方法还包括：

-根据本地存储的所述数据，确定所述数据的本地验证信息。

6.根据权利要求1至5中任一项所述的方法，其中，所述数据的本地验证信息包括所述数据的内容签名信息。

7.一种在分布式数据存储系统中进行数据存储的方法，其中，该方法包括：

-自至少一个数据存储设备接收数据的标识信息及相应数据存储设备对应所述数据的本地验证信息；

-根据所述标识信息及所述本地验证信息，更新所述数据的全局验证信息；

其中，该方法还包括：

-根据其中一个或多个数据存储设备对数据的全局验证信息的获取请求，向相应数据存储设备返回其所请求的数据的全局验证信息。

8.一种数据存储方法，其中，该方法包括：

-数据存储设备获取待存储的数据；

-所述数据存储设备根据所述数据的内容，确定所述数据的本地验证信息；

-所述数据存储设备将所述数据的标识信息及本地验证信息发送至分布式数据存储系统；

-所述分布式数据存储系统根据至少一个所述数据存储设备发送的所述数据的标识信息及本地验证信息，更新所述数据的全局验证信息；

-所述数据存储设备本地存储所述数据；

其中，该方法还包括：

-当所述数据存储设备接收到对所述数据的访问请求时，从所述分布式数据存储系统获取所述数据的全局验证信息；

-当所述数据的本地验证信息与所述全局验证信息一致时，所述数据存储设备提供其本地存储的所述数据。

9.一种在数据存储设备中进行数据存储的装置，其中，所述数据存储设备供本地访问；

其中，该装置包括：

-用于获取待存储的数据的装置；

-用于根据所述数据的内容，确定所述数据的本地验证信息的装置；

-用于将所述数据的标识信息及本地验证信息发送至分布式数据存储系统的装置，所述分布式数据存储系统存储有基于所述数据的各本地验证信息所获得的全局验证信息；

-用于本地存储所述数据的装置。

10.根据权利要求9所述的装置，其中，该装置还包括：

-用于当接收到对所述数据的访问请求时，从所述分布式数据存储系统获取所述数据的全局验证信息的装置；

-用于当所述数据的本地验证信息与所述全局验证信息一致时，提供本地存储的所述数据的装置。

11.根据权利要求10所述的装置，其中，该装置还包括：

-用于当所述数据的本地验证信息与所述全局验证信息不一致时，基于所述数据的标识信息，重新获取与所述标识信息对应的数据的装置。

12.根据权利要求10或11所述的装置，其中，所述本地存储的装置还用于：

-本地存储所述数据的本地验证信息。

13.根据权利要求10或11所述的装置，其中，在比较所述数据的本地验证信息与全局验证信息之前，该装置还包括：

-用于根据本地存储的所述数据，确定所述数据的本地验证信息的装置。

14.根据权利要求9至13中任一项所述的装置，其中，所述数据的本地验证信息包括所述数据的内容签名信息。

15.一种用于数据存储的分布式数据存储系统，其中，该分布式数据存储系统包括：

-用于自至少一个数据存储设备接收数据的标识信息及相应数据存储设备对应所述数据的本地验证信息的装置；

-用于根据所述标识信息及所述本地验证信息，更新所述数据的全局验证信息的装置；

其中，该装置还包括：

-用于根据其中一个或多个数据存储设备对数据的全局验证信息的获取请求，向相应数据存储设备返回其所请求的数据的全局验证信息的装置。

16.一种数据存储系统，其中，该系统包括如权利要求9至14中任一项所述的在数据存储设备中进行数据存储的装置和如权利要求15所述的用于数据存储的分布式数据存储系统。