CN113227993A - 用于去重优化的设备、系统和方法 - Google Patents

Abstract

公开了一种特别是具有附加去重层的先进的去重方法。具体而言，本发明提出了一种用于对多个存储服务器进行去重的全局服务器。所述全局服务器用于维护与哈希值集合有关的信息，其中每个哈希值与所述全局服务器和/或所述存储服务器中存储的数据的数据块相关联，并将所述哈希值的第一范围通知所述存储服务器。所述全局服务器还用于从一个或多个所述存储服务器接收请求，以针对一个或多个落入所述哈希值的第一范围的哈希值修改所述信息。所述全局服务器还用于基于从所述一个或多个存储服务器接收的所述请求，针对所述一个或多个落入所述哈希值的第一范围的哈希值修改所述信息。本发明还提出了一种用于在全局服务器进行去重的存储服务器。

Description

用于去重优化的设备、系统和方法

技术领域

本发明涉及一种数据存储去重方法，尤其涉及一种全局去重服务器(globaldeduplication server，简称GDS，也可以简单地称为全局服务器)中的优化的内存管理方法。本发明通过优化GDS中的内存管理来解决性能下降。

背景技术

数据去重(也称为数据优化)是指减少需要存储在磁盘上或需要通过网络传输的数据的物理字节数，而不损害原始数据的保真度或完整性，即字节的减少是无损的，并且原始数据可以完全恢复。通过减少存储和/或传输数据的存储资源，数据去重节省了硬件成本(用于存储和网络传输)和数据管理成本(例如备份)。随着数字存储数据量的增长，这些成本节约变得非常重要。

数据去重通常使用技术的组合来消除持久存储的文件内和文件之间的冗余。其中一种技术用于识别一个或多个文件中相同的数据区域，并且物理上只存储一个唯一区域(称为块)，同时维护指向与该文件相关联的块的指针。另一种技术是将数据去重和压缩混合，例如通过存储压缩块。

许多组织使用专用服务器存储数据(即存储服务器)。不同服务器存储的数据经常重复，导致空间损耗。该问题的一种解决方案是去重，包括通过使用哈希来识别重复数据，仅存储达到一定粒度的唯一数据。但是，去重是在特定的单个存储服务器的粒度中进行。

为了防止多个存储服务器之间的数据重复，引入了去重的去重(嵌套去重)这个概念，包括附加的去重层(执行多个去重服务器的去重)。特别地，提出了一种GDS，该GDS将存储高度重复的数据，作为解决在多个存储服务器之间执行去重的问题的解决方案。

所述GDS存储由符合嵌套去重的存储服务器(即，存储服务器集群)发送的哈希，以确定哈希值是否出现在足够多的存储服务器中，确保GDS获得对该哈希值所表示的数据的所有权。所述哈希值可用于唯一标识相应的数据块。由于GDS会存储该存储服务器集群中存储服务器的所有哈希值(无论其是否也存储它们的数据)，这导致存储所有这些哈希值需要很大的存储空间。因此，不可能在GDS的内存中保存所有哈希，这进一步影响GDS的性能，尤其是在回复存储或删除哈希值的请求时。

这种问题的标准解决方案是在内存中缓存数据。由于GDS架构的构造方式(多个存储服务器形成与一个或多个GDS通信的存储服务器集群)，如果没有适当的缓存策略和方法，可能会导致许多“缓存缺失”，造成每次都强制访问磁盘。

本发明旨在通过优化当哈希值存储在GDS的内存中时GDS的内存管理效率来解决这种性能下降。

发明内容

鉴于上述问题，本发明实施例旨在提供一种数据管理解决方案，通过减少缓存缺失来优化全局服务器的响应时间。目的在于使得更多是从内存读取哈希值而较少从磁盘读取。另一个目的在于减少I/O操作。

所述目的通过所附的独立权利要求提供的实施例来实现。本发明实施例的有利的实现方式在从属权利要求中进一步定义。

本发明第一方面提供了一种用于对多个存储服务器进行去重的全局服务器。所述全局服务器用于：将哈希值集合的第一范围通知所述存储服务器，其中对与所述哈希值集合有关的信息进行维护，且每个哈希值与所述全局服务器和/或所述存储服务器中存储的数据的数据块相关联；从一个或多个所述存储服务器接收请求，以针对一个或多个落入所述哈希值的第一范围的哈希值修改所述信息；以及基于从所述一个或多个存储服务器接收的所述请求，针对所述一个或多个落入所述哈希值的第一范围的哈希值修改所述信息。

本发明提供了一种全局服务器，其将高度重复的数据存储在嵌套去重系统中。所述嵌套去重系统可以包括全局服务器和多个存储服务器。特别地，本发明提出了一种在所述全局服务器与所述多个存储服务器之间进行的通信方式，其中由所述全局服务器发起通信。也就是说，将向所述存储服务器提供哈希值的特定范围，并且只能向所述全局服务器上报针对落入该范围的哈希值的请求。这样，所述全局服务器就能够控制所请求的哈希值。因此，减少了所述全局服务器中的缓存缺失，从而增加了全局服务器的响应时间。

术语“全局服务器”是“全局去重服务器”的缩写，是指用于在包含多个去重服务器的存储系统中处理高度重复数据的服务器。在实施时，所述GDS可以实现为集中式设备(例如，服务器)，或者部署在所述多个存储服务器之一，或者以分布式方式实现(例如，多个服务器构成“虚拟”的全局去重服务器)。

在所述第一方面的一种实现方式中，与所述哈希值集合有关的信息可以在所述全局服务器或所述全局服务器可访问的单独存储设备中维护。这改善了所述去重系统的实施多样性。

在所述第一方面的一种实现方式中，所述全局服务器用于向所述存储服务器发送携带所述哈希值的第一范围的广播消息。

特别地，所述全局服务器可以通过携带该范围的广播消息将其愿意接受的哈希值范围通知所述存储服务器。这提高了所述去重系统的效率。

在所述第一方面的一种实现方式中，所述全局服务器包括磁盘存储器；以及所述信息包括包含有所述哈希值集合的哈希元数据表，所述哈希元数据表存储在所述磁盘存储器中。

在所述全局服务器的本地磁盘中存储有存储了哈希值和各哈希值相关信息的表，即所述哈希元数据表。

在所述第一方面的一种实现方式中，所述全局服务器用于：将所述哈希元数据表划分为N个部分，N为不小于2的正整数，其中所述哈希元数据表的每个部分都与所述哈希值的不同范围相关联。

需要说明的是，所述哈希元数据表为排序后的表，所有哈希值按顺序存储。例如，所述哈希值可以按照升序或降序存储在该表中。当所述哈希元数据表被划分为各部分时，所述哈希值相应地被划分为不同的范围。

在所述第一方面的一种实现方式中，所述全局服务器还包括内存；以及所述全局服务器还用于：将所述哈希元数据表的第一部分上传至所述内存，其中所述哈希元数据表的第一部分与所述哈希值的第一范围相关联；以及基于从所述一个或多个存储服务器接收的所述请求，修改所述哈希元数据表的第一部分。

由于所述哈希元数据表被划分为N个部分，所以所述哈希值的范围会被划分为N个部分。所述全局服务器例如以循环的方式遍历所有部分。所述全局服务器向所述存储服务器请求，向所述全局服务器提供所述存储服务器保存的哈希值，这些哈希值包含在相应的部分中。值得注意的是，各个部分是当前在所述内存中的已上传部分。因此，所述全局服务器能够更多是从内存中读取，而较少从磁盘读取。

在所述第一方面的一种实现方式中，所述哈希元数据表包括所述哈希值集合中的每个哈希值的信息以及与一个或多个针对所述哈希值进行注册的存储服务器有关的信息。

本发明实施例基于以下事实：当存储服务器请求所述全局服务器添加哈希值时，所述全局服务器将针对所述哈希值对所述存储服务器进行注册。

在所述第一方面的一种实现方式中，所述全局服务器用于：

-响应于从存储服务器接收的请求包括添加第一哈希值的请求：

-响应于所述第一哈希值未包含在所述哈希元数据表的所述第一部分中，将所述第一哈希值添加到所述哈希元数据表的所述第一部分中，创建与所述第一哈希值相关联的第一水位线，并对发送了与所述第一哈希值有关的请求的所述存储服务器进行注册，其中所述第一水位线指示具有所述第一哈希值的数据块是否在所述存储服务器之间高度重复；或

-响应于所述第一哈希值包含在所述哈希元数据表的所述第一部分中，增大与所述第一哈希值相关联的所述第一水位线的值，并对发送了与所述第一哈希值有关的请求的所述存储服务器进行注册；和/或

-响应于从存储服务器接收的请求包括删除第二哈希值的请求：

-减小与所述第二哈希值相关联的第二水位线的值，并对发送了与所述第二哈希值有关的所述请求的所述存储服务器进行注销，其中所述第二水位线指示具有所述第二哈希值的数据块是否在所述存储服务器之间高度重复；以及

-响应于所述第二水位线的值等于0，从所述哈希元数据表的所述第一部分中删除所述第二哈希值。

通常，所述全局服务器在接收到添加哈希值的请求时，会创建或升高与所述哈希值相关联的水位线，并针对所述哈希值对发送了所述请求的所述存储服务器进行注册。相应地，当接收到来自存储服务器的删除数据的请求时，所述全局服务器会减小与数据的哈希值相关联的水位线的值，并针对所述哈希值注销所述存储服务器。值得注意的是，根据本发明实施例，在一个时间段内从所述存储服务器接收到的请求与在同一时间段内落入所述全局服务器的内存的特定范围内的哈希值有关。

在所述第一方面的一种实现方式中，所述全局服务器用于：将所述哈希元数据表的所述更新后的第一部分持久化到所述磁盘存储器中。

在更新当前位于所述全局服务器的内存中的所述哈希元数据表的相应部分后，所述哈希元数据表的所述部分将被持久化回所述全局服务器的所述磁盘存储器。即，所述更新后的部分覆盖同一部分的旧数据。

在所述第一方面的一种实现方式中，所述全局服务器用于：基于在预定时间段内从所述一个或多个存储服务器接收的所有所述请求，针对所述一个或多个落入所述哈希值的第一范围的哈希值修改所述信息。

特别地，在将所述哈希元数据表的一部分上传到所述内存之后，在特定时间段内从所述存储服务器接收的所有请求均应由所述全局服务器处理。也就是说，在将所述更新后的部分持久化到所述磁盘存储器之前，所述全局服务器需要处理每一个与增加/删除哈希值有关的请求，并根据每个(修改所述哈希元数据表的所述上传部分的)请求采取行动。

本发明第二方面提供了一种用于在全局服务器进行去重的存储服务器。所述存储服务器用于：响应于增加或删除第一数据块的请求，记录与所述第一数据块的第一哈希值相关联的请求，其中所述第一哈希值包含在哈希值集合中，对所述哈希值集合进行维护，且每个哈希值是存储的数据块的哈希值；从所述全局服务器接收哈希值的第一范围的通知；以及如果所述第一哈希值落入所述哈希值的第一范围，则向所述全局服务器发送所述记录的请求，以针对所述第一哈希值修改所述全局服务器中的信息。

在该拓扑中，多个存储服务器可以与所述全局服务器连接。每个存储服务器可以采用类似的方式运行。值得注意的是，所述存储服务器通过由所述全局服务器发起通信的方式与所述全局服务器进行通信。特别地，所述全局服务器向所述存储服务器通知发送请求的方式。例如，所述全局服务器可以指示所述存储服务器何时发送请求，可以发送哪个请求。显然，在向所述全局服务器发送请求之前，所述存储服务器需要存储从用户处接收到的所有请求。所述存储服务器支持所述全局服务器减少缓存缺失，从而可以优化全局服务器的响应时间。特别地，可以减少所述全局服务器的时延。

在所述第二方面的一种实现方式中，所述存储服务器用于：向所述全局服务器发送所述请求后删除所述记录的请求。

值得注意的是，在发送与落入所述全局服务器提供的特定范围的哈希值相关的请求至所述全局服务器之后，假设所述全局服务器会处理所述请求并相应地采取行动。为了防止向所述全局服务器再次发送冗余请求，所述存储服务器将从记录中删除那些已经发送至所述全局服务器的请求。

在所述第二方面的一种实现方式中，所述存储服务器用于：在删除所述记录的请求后，维护所述第一数据块的与所述维护的第一哈希值相关联的存储位置的信息，其中所述第一数据块的存储位置为所述存储服务器和/或所述全局服务器。

特别地，所述存储服务器删除所述记录的请求(会一直保存直到被所述全局服务器处理)，而所述存储服务器会保存关于所述哈希值的记录。例如，所述存储服务器会一直保存与该哈希值所关联的数据是否本地保存在所述存储服务器和/或全局服务器有关的信息，以及与该哈希值相关联的参考计数，该参考计数指示所述存储服务器的用户需要该哈希值的频率。

在所述第二方面的一种实现方式中，所述存储服务器用于：从所述全局服务器接收携带所述哈希值的第一范围的广播消息。

在所述第二方面的一种实现方式中，所述存储服务器用于：将所述哈希值的第一范围与所述第一哈希值进行比较；以及确定所述第一哈希值是否落入所述哈希值的第一范围。

特别地，对于每个记录的与各自的哈希值相关联的请求，所述存储服务器将确定是否应将该请求发送至所述全局服务器。

在所述第二方面的一种实现方式中，若用户请求添加所述第一数据块，则所述请求包括添加所述第一数据块的所述第一哈希值的请求；或

若用户请求删除所述第一数据块，则所述请求包括删除所述第一数据块的所述第一哈希值的请求。

本发明第三方面提供了一种全局服务器执行的方法。所述方法包括：将哈希值集合的第一范围通知多个存储服务器，其中对与所述哈希值集合有关的信息进行维护，且每个哈希值与所述全局服务器和/或所述存储服务器中存储的数据的数据块相关联；从一个或多个所述存储服务器接收请求，以针对一个或多个落入所述哈希值的第一范围的哈希值修改所述信息；以及基于从所述一个或多个存储服务器接收的所述请求，针对所述一个或多个落入所述哈希值的第一范围的哈希值修改所述信息。

所述第三方面及其实现方式的所述方法提供了与如上所述第一方面及其各自的实现方式的所述全局服务器相同的优点和效果。

本发明第四方面提供了一种存储服务器执行的方法。所述方法包括：响应于增加或删除第一数据块的请求，记录与所述第一数据块的第一哈希值相关联的请求，其中所述第一哈希值包含在哈希值集合中，且每个哈希值是存储的数据块的哈希值；从所述全局服务器接收哈希值的第一范围的通知；以及如果所述第一哈希值落入所述哈希值的第一范围，则向所述全局服务器发送所述记录的请求，以针对所述第一哈希值修改所述全局服务器中的信息。

所述第四方面及其实现方式的所述方法提供了与如上所述第二方面及其各自的实现方式的所述存储服务器相同的优点和效果。

本发明第五方面提供了一种计算机程序产品，包括计算机可读代码指令。当在计算机中运行时，所述计算机可读代码指令将使所述计算机执行如所述第三或第四方面及其实现方式中所述的方法。

本发明的第六方面提供了一种计算机可读存储介质，包括计算机可执行的计算机程序代码指令。当在计算机上运行时，所述计算机程序代码指令将执行如所述第三或第四方面及其实现方式中所述的方法。所述计算机可读存储介质包括下组中一个或多个：只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、闪存、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)、以及硬盘驱动器。

本发明第七方面提供了一种用于对多个存储服务器进行去重的全局服务器，包括处理器和内存。所述内存存储指令，使得所述处理器执行本发明第三方面及其实现方式所述的方法。

本发明第八方面提供了一种用于在全局服务器进行去重的存储服务器，包括处理器和内存。所述内存存储指令，使得所述处理器执行本发明第四方面及其实现方式所述的方法。

需要注意的是，本申请所描述的所有设备、元件、单元和方法均可在软件或硬件元件或它们的任意组合中实现。本申请中描述的各种实体执行的所有步骤和所描述的将由各种实体执行的功能旨在表明各个实体适于或用于执行各自的步骤和功能。虽然在以下具体实施例的描述中，由外部实体执行的特定功能或步骤没有在执行特定步骤或功能的该实体的具体元件的描述中反映，但是技术人员应该清楚的是这些方法和功能可以在各自的硬件或软件元件或其任意组合中实现。

附图说明

结合所附附图，下面具体实施例的描述将阐述上述本发明的各方面及其实现形式，其中：

图1示出了本发明实施例提供的全局服务器；

图2示出了本发明实施例提供的拓扑；

图3示出了本发明实施例提供的全局服务器中的数据存储器；

图4示出了本发明实施例提供的存储服务器；

图5示出了本发明实施例提供的方法的流程图；以及

图6示出了本发明实施例提供的另一种方法的流程图。

具体实施方式

用于通信系统中的高效报文传输的方法、装置和程序产品的示意性实施例通过结合附图进行描述。尽管该描述提供了可能的实现方式的详细示例，但应当注意的是，所述细节旨在示例，并且绝不限制本申请的范围。

此外，一个实施例/示例可以参考其他实施例/示例。例如，包括但不限于一个实施例/示例中提到的术语、元素、过程、解释和/或技术优势的任何描述均适用于其他实施例/示例。

图1示出了本发明实施例提供的全局服务器100。所述全局服务器100可包括处理电路(未示出)，用于执行、实施或发起本文所述的全局服务器100的各种操作。所述处理电路可以包括硬件和软件。所述硬件可以包括模拟电路或数字电路，或者同时包括模拟和数字电路。所述数字电路可包括组件，例如专用集成电路(application-specificintegrated circuit，简称ASIC)、现场可编程门阵列(field-programmable gate array，简称FPGA)、数字信号处理器(digital signal processor，简称DSP)或多功能处理器。在一个实施例中，所述处理电路包括一个或多个处理器和连接到所述一个或多个处理器的非瞬时性存储器。所述非瞬时性存储器可以携带可执行程序代码，当被所述一个或多个处理器执行时，所述可执行程序代码使得所述全局服务器100执行、实施或发起本文所述的操作或方法。

所述全局服务器100用于对多个存储服务器110(其中一个在图中显示)进行去重。所述全局服务器100可用于维护与哈希值集合有关的信息101，其中每个哈希值与所述全局服务器和/或所述存储服务器110中存储的数据的数据块相关联。所述全局服务器100还用于将所述哈希值的第一范围1011通知所述存储服务器110。然后，所述全局服务器100用于从一个或多个所述存储服务器110接收请求111，以针对一个或多个落入所述哈希值的第一范围1011的哈希值修改所述信息101。进一步地，所述全局服务器100还用于基于从所述一个或多个存储服务器110接收的所述请求111，针对所述一个或多个落入所述哈希值的第一范围1011的哈希值修改所述信息101。

对于存储领域的技术人员，与哈希值集合有关的信息也可以在所述全局服务器100可访问的单独设备(例如，存储服务器)中维护。上述对所述全局服务器的描述不能被视为对所述全局服务器100的实现限制。

本发明实施例应用于嵌套去重拓扑。图2示出了根据本发明实施例提供的全局服务器100和存储服务器A、B和C 110的拓扑。值得注意的是，此处不限制嵌套去重拓扑实现中存储服务器110的实际数量。所述全局服务器100提供附加的去重层。也就是说，执行多个去重服务器(即，存储服务器)110的去重。通常，若干应用服务器能够访问各自存储服务器。用户可以通过所述应用服务器对所述存储服务器进行数据读/写。

通过对数据块进行哈希函数或哈希算法，可以得到所述数据块的哈希值。所述哈希值可用于唯一标识相应的数据块。本发明并不限制所述存储服务器中使用的哈希和分块技术的种类，只要其在所有服务器中相同。当用户将数据写入所述存储服务器110时，所述存储服务器110可以对所述数据进行分块和哈希处理，得到所述数据块的哈希值。由于多台去重服务器或存储服务器存储的数据往往是重复的，为了避免空间损耗，所述存储服务器可以请求将部分数据存储在GDS中。

特别地，图2所示的GDS为本发明实施例提供的如图1所示的所述全局服务器100。图2所示的存储服务器A、B和C均为本发明实施例提供的如图1所示的所述存储服务器110。所述全局服务器100旨在存储所述存储服务器110高度重复的数据。所述全局服务器100通常根据一些可配置的阈值确定高度重复的数据。所述存储服务器110与所述全局服务器100通信，并发送存储数据的请求。所述全局服务器100可以根据配置的阈值接受或拒绝该请求。所述高度重复的数据可以存储在所述全局服务器100中。相应地，所述存储服务器110可以从其本地存储中删除这些高度重复的数据，并回复所述全局服务器100。在一些场景中，所述存储服务器也可以保存该高度重复的数据的副本。

本发明提出了优化存储在GDS中的哈希值的内存管理。在该解决方案中，GDS将向存储服务器发起请求，以向GDS提供哈希值。

值得注意的是，所述全局服务器100可以包括磁盘存储器102，如图3所示。特别地，所述哈希值集合包含在一个表中，即哈希元数据表。该哈希元数据表存储在所述全局服务器100的所述磁盘存储器102中。

可选地，所述全局服务器100可用于将所述哈希元数据表划分为N个部分，N为不小于2的正整数。所述哈希元数据表的每个部分都与所述哈希值的不同范围相关联。特别地，所述哈希值在所述哈希元数据表中按照特定顺序排列，例如，以升序或降序排列。也就是说，如果以升序排列所述哈希值，则所述哈希元数据表的第N部分中的哈希值将比所述哈希元数据表的第N-1部分中的哈希值具有更大的值。所述哈希元数据表的各个部分中哈希值的范围彼此不重叠。

值得注意的是，所述全局服务器100还可以包括内存103，如图3所示。

可选地，所述全局服务器100还可以用于将所述哈希元数据表的第一部分上传至所述内存103。特别地，所述哈希元数据表的第一部分与所述哈希值的第一范围1011相关联。相应地，所述全局服务器100可以用于基于从所述一个或多个存储服务器110接收的所述请求111，修改所述哈希元数据表的第一部分。

图3示出了本发明实施例提供的全局服务器100中的数据存储管理。如图3所示，所述哈希元数据表的第一部分从所述磁盘存储器102上传到所述内存103。所述哈希元数据表上传的第一部分对应于所述哈希值的第一范围1011。可选地，所述全局服务器100可以向与其连接的所有存储服务器110发送广播消息，该消息携带特定范围，即本实施例提供的所述第一范围1011。这是为了向所述存储服务器110指示所述全局服务器100愿意接受的哈希值的范围。根据本发明实施例，所述特定范围对应于当前上传至所述内存103的所述哈希元数据表的一部分。

特别地，所述哈希元数据表包括所述哈希值集合中的每个哈希值的信息以及与一个或多个针对所述哈希值进行注册的存储服务器110有关的信息。例如，对于每个哈希值，所述哈希元数据表中可以包括具有该哈希值的数据块、与该哈希值相关联的水位线以及请求添加该哈希值的存储服务器110的信息。

通常，每个存储服务器110将在来自所述全局服务器100的通知之间记录新的哈希值和删除的哈希值。一旦接收到带有哈希值特定范围的通知，所述存储服务器110发送记录的请求以添加或删除该特定范围内的哈希值。

可能地，在本发明的一个实施例中，从存储服务器110接收的请求可以包括添加第一哈希值的请求。当所述第一哈希值未包含在所述哈希元数据表的所述第一部分中时，所述全局服务器100可用于将所述第一哈希值添加到所述哈希元数据表的所述第一部分中，创建与所述第一哈希值相关联的第一水位线，并对发送了与所述第一哈希值有关的请求的所述存储服务器110进行注册。所述第一水位线指示具有所述第一哈希值的数据块是否在所述存储服务器110之间高度重复。例如，如果所述第一水位线的值为1，即有一个存储服务器110请求添加所述第一哈希值。需要说明的是，当所述第一哈希值未包含在所述哈希元数据表的所述第一部分中时，意味着尽管所述第一哈希值落入所述第一范围1011，但当前并未存储在所述全局服务器100中。当所述第一哈希值包含在所述哈希元数据表的所述第一部分中时，所述全局服务器100可以用于增大与所述第一哈希值相关联的所述第一水位线的值，并对发送了关于所述第一哈希值的请求的存储服务器110进行注册。

可能地，在本发明的另一实施例中，从存储服务器110接收的请求可以包括删除第二哈希值的请求。所述全局服务器100可用于减小与所述第二哈希值相关联的第二水位线的值，并对发送了与所述第二哈希值有关的所述请求的所述存储服务器110进行注销。类似地，所述第二水位线指示具有所述第二哈希值的数据块是否在所述存储服务器110之间高度重复。进一步地，当所述第二水位线的值等于0时，所述全局服务器100可以用于从所述哈希元数据表的所述第一部分中删除所述第二哈希值。需要说明的是，当所述第二水位线的值等于0时，意味着当前没有存储服务器110仍请求添加所述第二哈希值，因此可以从所述哈希元数据表中将其删除。

可能地，所述全局服务器100可以同时接收两个请求，即添加所述第一哈希值的请求和删除所述第二哈希值的请求。可能地，所述第一哈希值和所述第二哈希值甚至可以是相同的哈希值。例如，所述存储服务器A可以请求添加一个哈希值，而所述存储服务器B可以请求删除该哈希值。

值得注意的是，在处理所述请求时，所述全局服务器100将所述哈希值插入到当前在所述内存103的所述表部分中，或者从当前在所述内存103的所述表部分中删除所述哈希值。在插入哈希值后，如果与该哈希值相关联的水位线达到高水位线，则所述全局服务器100可以向所述存储服务器110请求具有该哈希值的数据。在删除哈希值之后，如果与该哈希值相关联的水位线达到低水位线，则所述全局服务器100可以删除具有该哈希值的数据。也就是说，基于与相应哈希值相关联的水位线是否高于/低于某些阈值，所述全局服务器100将请求从某个存储服务器110接收该哈希值的数据，或者将决定移除该哈希值的数据，并将通知所有相关存储服务器110以收回该数据的所有权。

将当前在所述全局服务器100的所述内存103中的所述哈希元数据表的所述第一部分更新之后，该更新后的部分将被持久化回所述全局服务器100的所述磁盘存储器102。也就是说，所述更新后的数据相应地覆盖同一部分的旧数据。

所述全局服务器100将以循环的方式逐个遍历每个部分。即，在所述磁盘存储器102中的所述哈希元数据表的所述第一部分更新之后，所述全局服务器100将继续更新所述哈希元数据表的第二部分的流程。相应地，所述全局服务器100可用于向所述存储服务器110通知所述哈希值的第二范围。所述全局服务器100还可以用于从一个或多个所述存储服务器110接收请求，以针对一个或多个落入所述哈希值的第二范围的哈希值修改所述信息101。然后，所述全局服务器100可用于基于从所述一个或多个存储服务器110接收的所述请求，针对所述一个或多个落入所述哈希值的第二范围的哈希值修改所述信息101。

特别地，所述全局服务器100可以将所述哈希元数据表的第二部分从所述磁盘存储器102上传到所述内存103。所述哈希元数据表的第二部分与所述哈希值的第二范围相关联。

应理解，根据本发明实施例，这种流程可以每X分钟/小时/天执行一次，X为可以动态配置或变更的正数。这样，只能将与落入预定义有限范围的哈希值相关的请求发送至所述全局服务器100，并进行进一步处理。所述全局服务器100能够控制所请求的哈希值。因此，所述全局服务器100不需要持续访问所述磁盘存储器102以检索和更新哈希值，而是能够仅处理所述内存103中的一部分哈希值。也就是说，所述全局服务器100在处理其中一个部分时，只需要访问所述磁盘存储器102一次或两次。此外，这能够更好地控制在预定义时间段内生成的网络流量的数量。

特别地，在将所述哈希元数据表的一部分上传到所述内存103之后，在特定时间段内从所述存储服务器110接收的所有请求均应由所述全局服务器100处理。也就是说，在将所述更新后的部分持久化到所述磁盘存储器102之前，所述全局服务器100需要处理每个关于添加/删除哈希值的请求，并根据每个(修改所述哈希元数据表的所述上传部分的)请求采取行动。

相应地，所述全局服务器100可用于基于在预定时间段内从所述一个或多个存储服务器110接收的所有请求，针对所述一个或多个落入所述哈希值的第一范围1011的哈希值修改所述信息101。

通过使所述全局服务器100发起通信并控制其在任意时间点处理的哈希值范围，所述存储服务器110只在特定时间段内向所述全局服务器100上报有限范围的哈希值。从而保证了该范围内的哈希值在所述全局服务器100的所述内存103中。这进一步避免了缓存缺失。这样优化了所述全局服务器100的内存管理。

图4示出了本发明实施例提供的存储服务器110。所述存储服务器110可包括处理电路(未示出)，用于执行、实施或发起本文所述的存储服务器110的各种操作。所述处理电路可以包括硬件和软件。所述硬件可以包括模拟电路或数字电路，或者同时包括模拟和数字电路。所述数字电路可包括组件，例如专用集成电路(application-specificintegrated circuit，简称ASIC)、现场可编程门阵列(field-programmable gate array，简称FPGA)、数字信号处理器(digital signal processor，简称DSP)或多功能处理器。在一个实施例中，所述处理电路包括一个或多个处理器和连接到所述一个或多个处理器的非瞬时性存储器。所述非瞬时性存储器可以携带可执行程序代码，当被所述一个或多个处理器执行时，所述可执行程序代码使得所述存储服务器110执行、实施或发起本文所述的操作或方法。

所述存储服务器110用于在全局服务器上进行去重。特别地，图4所示的所述存储服务器110与图1或图2所示的所述存储服务器110相同。而图4所示的所述全局服务器100与图1-3所示的所述全局服务器100相同。根据本发明实施例，所述存储服务器110用于维护哈希值集合，每个哈希值为存储的数据块的哈希值。当用户请求添加或删除第一数据块时，所述存储服务器110用于记录与所述第一数据块的第一哈希值相关联的请求111。进一步地，所述存储服务器110用于从所述全局服务器100接收哈希值的第一范围1011的通知。相应地，如果所述第一哈希值落入所述哈希值的第一范围1011，则所述存储服务器110用于向所述全局服务器100发送所述记录的请求111，以针对所述第一哈希值修改所述全局服务器100中的信息。

由于多个去重服务器或存储服务器存储的数据通常是重复的，为了避免空间损耗，所述存储服务器110可以请求将部分数据存储在全局服务器100中。根据本发明的实施例，所述全局服务器100发起所述全局服务器100与所述存储服务器110之间的通信，并控制可以向其提供哪些范围的哈希值。因此，根据本发明实施例，所述存储服务器110不会随意地向所述全局服务器100发送添加或删除数据的请求，而是记录请求，并根据来自所述全局服务器100的通知或指令发送这些请求(可以单独发送)。

可选地，向所述全局服务器100发送所述请求111之后，所述存储服务器110可以用于删除该记录的请求111。

值得注意的是，在发送与落入所述全局服务器提供的特定范围的哈希值相关的所述请求111至所述全局服务器100之后，假设所述全局服务器100会处理所述请求111并相应地采取行动。为了防止向所述全局服务器再次发送冗余请求，所述存储服务器110将从记录中删除那些已经发送至所述全局服务器100的请求。

然而，需要说明的是，虽然所述存储服务器110删除了该记录的请求111(会一直保存直到被所述全局服务器100处理)，所述存储服务器110仍保留关于该哈希值的记录。例如，所述存储服务器110仍会存储与该哈希值所关联的数据是否本地保存在所述存储服务器110和/或所述全局服务器100有关的信息，以及与该哈希值相关联的本地计数，该本地计数指示所述存储服务器的用户需要该哈希值的频率。

相应地，在删除所述记录的请求111后，所述存储服务器110可用于维护所述第一数据块的与所述维护的第一哈希值相关联的存储位置的信息，其中所述第一数据块的存储位置为所述存储服务器110和/或所述全局服务器100。

可选地，所述存储服务器110可用于从所述全局服务器100接收携带所述哈希值的第一范围1011的广播消息。

可选地，所述存储服务器110还可以用于将所述哈希值的第一范围1011与所述第一哈希值进行比较。进一步地，所述存储服务器110用于确定所述第一哈希值是否落入所述哈希值的第一范围1011。

特别地，对于与各自的哈希值相关联的每个记录的请求，所述存储服务器110将确定是否应将该请求发送至所述全局服务器100。也就是说，根据本实施例，可发送的请求必须与落入给定范围，即所述第一范围1011的哈希值相关。

值得注意的是，若用户请求添加所述第一数据块，则所述请求111可包括添加所述第一数据块的所述第一哈希值的请求。可能地，若用户请求删除所述第一数据块，则所述请求可包括删除所述第一数据块的所述第一哈希值的请求。

可选地，对于记录的请求，即使允许将该请求发送至所述全局服务器100，所述存储服务器110也可以决定是否发送。例如，对于频繁访问的数据，所述存储服务器110可以决定不向所述全局服务器100分流。因此，此类数据可以保留在本地存储服务器中，以允许较低的读取时延。进一步地，存储服务器110也可以决定不将某些数据，例如一些私有数据，或者出于安全原因，分流到所述全局服务器100。

值得注意的是，在所述存储服务器110向所述全局服务器100发送该记录的请求111进行处理之后，来自用户的新传入请求将持续记录在所述存储服务器110中。所述全局服务器100可以请求所述存储服务器110发更多记录的请求，尤其是当所述全局服务器100已成功处理了所有接收到的请求时。

应理解，根据本发明实施例，当用户请求添加或删除第二数据块时，所述存储服务器110还可以用于记录与所述第二数据块的第二哈希值相关联的请求。然后，所述存储服务器110可用于从所述全局服务器100接收哈希值的第二范围的通知。相应地，如果所述第二哈希值落入所述哈希值的第二范围，则所述存储服务器110可用于向所述全局服务器100发送所述记录的请求，以针对所述第二哈希值修改所述全局服务器100中的信息。类似地，与前述实施例一样，所述存储服务器110可用于在成功向所述全局服务器100发送请求之后，删除所述记录的请求。

在本发明中，所述存储服务器110仅在特定的时间段(当被指示时)向所述全局服务器100发送请求，且仅发送满足所述全局服务器100提供的条件的请求。特别地，所述请求必须与落入所述全局服务器100通知的有限范围内的哈希值相关。这能够更好地控制在预定义时间段内生成的网络流量的数量。

图5示出了本发明实施例提供的全局服务器100执行的用于对多个存储服务器110进行去重的方法500。特别地，所述全局服务器100对应于图1的所述全局服务器100。所述方法500包括：步骤501：维护与哈希值集合有关的信息101，其中每个哈希值与所述全局服务器100和/或所述存储服务器110中存储的数据的数据块相关联；步骤502：将所述哈希值的第一范围1011通知所述存储服务器110；步骤503：从一个或多个所述存储服务器110接收请求111，以针对一个或多个落入所述哈希值的第一范围1011的哈希值修改所述信息101；以及步骤504：基于从所述一个或多个存储服务器110接收的所述请求111，针对所述一个或多个落入所述哈希值的第一范围1011的哈希值修改所述信息101。特别地，所述存储服务器110是图1中的所述存储设备110。对于本领域技术人员而言，步骤501在方法500的实现中可以是可选的。

图6示出了本发明实施例提供的存储服务器110执行的用于在全局服务器100进行去重的方法600。特别地，所述全局服务器100为图4的所述全局服务器100，所述存储服务器110为图4的所述存储服务器110。所述方法600包括：步骤601：维护哈希值集合，其中每个哈希值为存储的数据块的哈希值；步骤602：当用户请求添加或删除第一数据块时，记录与所述第一数据块的第一哈希值相关联的请求111；步骤603：从所述全局服务器100接收哈希值的第一范围1011的通知；步骤604：若所述第一哈希值落入所述哈希值的第一范围1011，则向所述全局服务器100发送记录的请求，以针对所述第一哈希值修改所述全局服务器100中的信息。对于本领域技术人员而言，步骤601在方法600的实现中可以是可选的。

已经结合作为实例的不同实施例以及实施方案描述了本发明。但本领域技术人员通过实践所请发明，研究附图、本公开以及独立权项，能够理解并获得其他变体。在权利要求以及描述中，术语“包括”不排除其他元件或步骤，且“一”并不排除复数可能。单个元件或其它单元可满足权利要求书中所叙述的若干实体或项目的功能。在仅凭某些措施被记载在相互不同的从属权利要求书中这个单纯的事实并不意味着这些措施的结合不能在有利的实现方式中使用。

另外，根据本发明实施例的任意方法可以在具有编码方式的计算机程序中实现，当通过处理措施运行时，可使所述处理措施执行方法步骤。计算机程序包括在计算机程序产品的计算机可读介质之中。计算机可读介质基本可以包括任意存储器，如ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、闪存、EEPROM(电可擦可编程只读存储器)以及硬盘驱动器。

此外，技术人员将意识到用户设备100和接入节点110包括例如功能、装置、单元、元件等形式的必需的通信能力以用于执行本发明的方案。其他这类方法、单元、元素和功能的示例包括：处理器、存储器、缓冲器、逻辑控制、编码器、解码器、速率匹配器、去速率匹配器、映射单元、乘法器、判决单元、选择单元、交换器、交织器、去交织器、调制器、解调器、输入、输出、天线、放大器、接收单元、发射单元、DSP、网格编码调制(trellis-codedmodulation，简称TCM)编码器、TCM解码器、电源单元、电源馈线、通信接口和通信协议等，其被合理地设置在一起，用来执行所述解决方案。

尤其，处理器100和103可包括例如中央处理单元(CPU)、处理单元、处理电路、处理器、专用集成电路(ASIC)、微处理器或可解释和执行指令的其它处理逻辑的一个或多个实例。术语“处理器”因此可表示包括多个处理电路的处理电路，所述多个处理电路实例为以上列举项中的任何、一些或所有项。所述处理电路可进一步执行数据处理功能，输入、输出以及处理数据，所述功能包括数据缓冲和装置控制功能，例如，呼叫处理控制、用户界面控制等。

Claims (19)

1.一种用于对多个存储服务器(110)进行去重的全局服务器(100)，其特征在于，所述全局服务器用于：

将哈希值集合的第一范围(1011)通知所述存储服务器(110)，其中对与所述哈希值集合有关的信息(101)进行维护，且每个哈希值与所述全局服务器(100)和/或所述存储服务器(110)中存储的数据的数据块相关联；

从一个或多个所述存储服务器(110)接收请求(111)，以针对一个或多个落入所述哈希值的第一范围(1011)的哈希值修改所述信息(101)；以及

基于从所述一个或多个存储服务器(110)接收的所述请求(111)，针对所述一个或多个落入所述哈希值的第一范围(1011)的哈希值修改所述信息(101)。

2.根据权利要求1所述的全局服务器(100)，其特征在于，用于：

向所述存储服务器(110)发送携带所述哈希值的第一范围(1011)的广播消息。

3.根据权利要求1或2所述的全局服务器(100)，其特征在于，

所述全局服务器(100)包括磁盘存储器(102)；以及

所述信息(101)包括包含有所述哈希值集合的哈希元数据表，所述哈希元数据表存储在所述磁盘存储器(102)中。

4.根据权利要求3所述的全局服务器(100)，其特征在于，用于：

将所述哈希元数据表划分为N个部分，N为不小于2的正整数，其中所述哈希元数据表的每个部分都与所述哈希值的不同范围相关联。

5.根据权利要求4所述的全局服务器(100)，其特征在于，

所述全局服务器(100)还包括内存(103)；以及

所述全局服务器(100)还用于：

将所述哈希元数据表的第一部分上传至所述内存(103)，其中所述哈希元数据表的第一部分与所述哈希值的第一范围(1011)相关联；以及

基于从所述一个或多个存储服务器(110)接收的所述请求(111)，修改所述哈希元数据表的第一部分。

6.根据权利要求3至5任一项所述的全局服务器(100)，其特征在于，

所述哈希元数据表包括所述哈希值集合中的每个哈希值的信息以及与一个或多个针对所述哈希值进行注册的存储服务器(110)有关的信息。

7.根据权利要求6所述的全局服务器(100)，其特征在于，用于：

响应于从存储服务器(110)接收的请求包括添加第一哈希值的请求：

响应于所述第一哈希值未包含在所述哈希元数据表的所述第一部分中，将所述第一哈希值添加到所述哈希元数据表的所述第一部分中，创建与所述第一哈希值相关联的第一水位线，并对发送了与所述第一哈希值有关的请求的所述存储服务器进行注册，其中所述第一水位线指示具有所述第一哈希值的数据块是否在所述存储服务器(110)之间高度重复；或

响应于所述第一哈希值包含在所述哈希元数据表的所述第一部分中，增大与所述第一哈希值相关联的所述第一水位线的值，并对发送了与所述第一哈希值有关的请求的所述存储服务器进行注册；和/或

响应于从存储服务器(110)接收的请求包括删除第二哈希值的请求：

减小与所述第二哈希值相关联的第二水位线的值，并对发送了与所述第二哈希值有关的所述请求的所述存储服务器进行注销，其中所述第二水位线指示具有所述第二哈希值的数据块是否在所述存储服务器(110)之间高度重复；以及

响应于所述第二水位线的值等于0，从所述哈希元数据表的所述第一部分中删除所述第二哈希值。

8.根据权利要求5至7任一项所述的全局服务器(100)，其特征在于，用于：

将所述哈希元数据表的所述更新后的第一部分持久化到所述磁盘存储器(102)中。

9.根据权利要求1至8任一项所述的全局服务器(100)，其特征在于，用于：

基于在预定时间段内从所述一个或多个存储服务器(110)接收的所有所述请求(111)，针对所述一个或多个落入所述哈希值的第一范围的哈希值修改所述信息(101)。

10.一种用于在全局服务器(100)进行去重的存储服务器(110)，其特征在于，所述存储服务器(110)用于：

响应于增加或删除第一数据块的请求，记录与所述第一数据块的第一哈希值相关联的请求(111)，其中所述第一哈希值包含在哈希值集合中，对所述哈希值集合进行维护，且每个哈希值是存储的数据块的哈希值；

从所述全局服务器(100)接收哈希值的第一范围(1011)的通知；以及

如果所述第一哈希值落入所述哈希值的第一范围(1011)，则向所述全局服务器(100)发送所述记录的请求(111)，以针对所述第一哈希值修改所述全局服务器(100)中的信息。

11.根据权利要求10所述的存储服务器(110)，其特征在于，用于：

向所述全局服务器(100)发送所述请求后删除所述记录的请求。

12.根据权利要求11所述的存储服务器(110)，其特征在于，用于：

在删除所述记录的请求后，维护所述第一数据块的与所述维护的第一哈希值相关联的存储位置的信息，其中所述第一数据块的存储位置为所述存储服务器和/或所述全局服务器(100)。

13.根据权利要求10至12任一项所述的存储服务器(110)，其特征在于，用于：

从所述全局服务器(100)接收携带所述哈希值的第一范围的广播消息。

14.根据权利要求10至13任一项所述的存储服务器(110)，其特征在于，用于：

将所述哈希值的第一范围与所述第一哈希值进行比较；以及

确定所述第一哈希值是否落入所述哈希值的第一范围。

15.根据权利要求10至14任一项所述的存储服务器(110)，其特征在于，

若用户请求添加所述第一数据块，则所述请求包括添加所述第一数据块的所述第一哈希值的请求；或

若用户请求删除所述第一数据块，则所述请求包括删除所述第一数据块的所述第一哈希值的请求。

16.一种用于对多个存储服务器(110)进行去重的方法(500)，其特征在于，所述方法包括：

将哈希值集合的第一范围(1011)通知(502)所述多个存储服务器(110)，其中对与所述哈希值集合有关的信息(101)进行维护，且每个哈希值与所述全局服务器(100)和/或所述存储服务器(110)中存储的数据的数据块相关联；

从一个或多个所述存储服务器接收(503)请求(111)，以针对一个或多个落入所述哈希值的第一范围(1011)的哈希值修改所述信息；以及

基于从所述一个或多个存储服务器(110)接收的所述请求(111)，针对所述一个或多个落入所述哈希值的第一范围的哈希值修改(504)所述信息(101)。

17.一种用于在全局服务器进行去重的方法(600)，其特征在于，所述方法包括：

响应于增加或删除第一数据块的请求，记录(602)与所述第一数据块的第一哈希值相关联的请求(111)，其中所述第一哈希值包含在哈希值集合中，且每个哈希值是存储的数据块的哈希值；

从所述全局服务器(100)接收(603)哈希值的第一范围(1011)的通知；以及

如果所述第一哈希值落入所述哈希值的第一范围(1011)，则向所述全局服务器(100)发送(604)所述记录的请求(111)，以针对所述第一哈希值修改所述全局服务器(100)中的信息。

18.一种计算机程序产品，其特征在于，包括计算机可读代码指令，当在计算机中运行时，所述计算机可读代码指令将使所述计算机执行如权利要求16或17任一项所述的方法。

19.一种计算机可读存储介质，其特征在于，包括计算机可执行的计算机程序代码指令，当在计算机中运行时，所述计算机程序代码指令执行如权利要求16或17任一项所述的方法。

Images