CN102939740A - 分布式数据存储 - Google Patents

Abstract

本发明涉及一种包括多个存储节点的分布式数据存储系统。一个服务器应用程序可以使用单播和组播传输将数据写入到该存储系统中。当写入数据时，至少部分地基于一种随机函数来选择至少两个存储节点，这确保了数据被充分传播，以便在一个存储节点发生故障的情况下提供高效且可靠的数据复制。

Description

分布式数据存储

技术领域

本披露涉及一种用于将数据写入到包括多个数据存储节点的数据存储系统中的方法，这种方法被用于该数据存储系统中的服务器中。该披露进一步涉及一种能够执行这种方法的服务器。

背景技术

例如在US,2005/0246393,A1中披露了这种方法。这种方法被披露成用于一种在不同的地理位置使用多个存储中心的系统。包括分布式对象存储管理器，以便维护关于所存储的数据的信息。

与这种系统相关的一个问题在于如何实现简单但稳健且可靠的数据写入以及维护。

发明内容

因此，本披露的一个目的在于在分布式存储系统中实现稳健的数据写入。

该目的也通过一种用于将数据写入到最初提到的那种数据存储系统中的方法来达成，这种方法是在运行访问该数据存储系统中的数据的应用程序的服务器中实现的。该方法包括：将一个组播存储查询发送给多个存储节点，从所述存储节点的一个子集接收多个响应，这些响应包括对应地与每个存储节点有关的存储节点信息，基于所述响应在该子集中选择至少两个存储节点。该选择包括基于一种算法为该子集中的每个存储节点确定一个概率因数，该概率因数是基于其存储节点信息的，并且随机地选择所述至少两个存储节点，其中一个存储节点被选中的概率取决于其概率因数。该方法进一步包含将数据和与该数据相对应的一个数据标识符发送给这些选中的存储节点。

这种方法实现了稳健的数据写入，因为虽然存储节点是取决于其暂时能力来进行选择的，但是即使是在短时间帧期间，信息也仍将会在一定程度上在系统上传播。这意味着将会减少对存储系统的维护需求，因为哪些存储节点携带相同信息的相关性能够在某种程度上得到降低。这意味着，在一个存储节点发生故障时可能执行的一个复制过程可能由更大数量的其他存储节点来执行，且因此这个复制过程变得更快。此外，降低了在密集的写入操作期间使具有高级别的存储节点过载的风险，因为有更多的存储节点被用来写入，并且较少的存储节点处于空闲状态。

存储节点信息可以包括与每个存储节点的地理位置相关的地理数据，如这个位置的纬度、经度和高度。这允许该服务器在一个房间、一栋建筑物、一个国家、甚至是在世界范围内地理地传播这些信息。

有可能的是基于地理分离来为该子集中满足一个主要标准的多个存储节点执行存储节点的随机选择，因为这对于冗余来说是一个重要的特征。

该存储节点信息可以包括关于所考虑的存储节点的系统年龄和/或系统负载。

该组播存储查询可以包括标识有待存储的数据的一个数据标识符。

可以选择至少三个节点，并且可以将成功存储该数据的存储节点列表发送给这些选中的存储节点。

可以对该子集中的一部分节点执行存储节点的这种随机选择，该部分包括概率因数最高的存储节点。因此，排除掉了最不适合的存储节点，这样提供了对更可靠的存储节点的选择同时维持了有待写入的信息的随机分布。

本披露进一步涉及一种与这种方法相对应的用于执行数据写入的服务器。该服务器则总体上包括用于执行这种方法的多个动作的装置。

附图说明

图1示出一个分布式数据存储系统。

图2A至图2C以及图3示出一个数据读取过程。

图4A至图4C以及图5示出一个数据写入过程。

图6示意性地示出多个文件存储在多个数据存储节点之中的情况。

图7示出多个心跳信号的传输。

图8是一个数据维护过程的综述。

具体实施方式

本披露涉及一种包括多个存储节点的分布式数据存储系统。在图1中概述了该系统的结构以及其被使用的上下文。

用户计算机1通过互联网3访问在服务器7上运行的一个应用程序5。因此，用户上下文（如在此所述）是本身众所周知的一个正规的客户端-服务器配置。然而，应当指出的是，有待披露的数据存储系统可能在其他配置中也是有用的。

在所示的情况下，两个应用程序5、9在服务器7上运行。然而，当然，应用程序的这个数量可以是不同的。每个应用程序都具有一个API（应用程序接口）11，该API提供与分布式数据存储系统13有关的一个接口并支持来自在服务器上运行的应用程序的请求，通常是写入请求和读取请求。从应用程序的观点来看，从数据存储系统13读取信息或向其写入信息不必与使用任何其他类型的存储解决方案（例如，一个文件服务器或仅一个硬盘驱动器）呈现出不同。

每个API 11与数据存储系统13中的存储节点15通信，并且这些存储节点相互通信。这些通信是基于TCP（传输控制协议）和UDP（用户数据报协议）的。这些概念对于本领域的技术人员来说是众所周知的，并且不进行进一步解释。

应当指出的是，相同的服务器7上多个不同的API 11可以访问存储节点15的不同组。应当进一步指出的是，可以存在超过一个服务器7访问每个存储节点15。然而，这在任何更大的程度上都不会影响存储节点操作的方式，如随后将进行描述。

分布式数据存储系统的组件是存储节点15以及在访问存储节点15的服务器7中的API 11。因此，本披露涉及在服务器7和存储节点15中执行的方法。这些方法将主要实施为软件实现方式，这些软件实现方式分别在该服务器和这些存储节点上运行并且一起确定整个分布式数据存储系统的操作和特性。

存储节点15可以典型地通过配备有多个功能块的一个文件服务器来实施。因此，该存储节点可以包括一个存储介质17，该存储介质典型地包括多个硬盘驱动器，这些硬盘驱动器任选地被配置为一个RAID（独立磁盘冗余阵列）系统。然而，其他类型的存储介质也是可能的。

存储节点15可以进一步包含一个目录19，该目录包括作为一个主机列表的多个数据实体/存储节点关系列表，如随后将论述。

除了该主机列表外，每个存储节点进一步含有一个节点列表，该节点列表将所有存储节点的IP地址包含在其存储节点集合或群组中。一个群组中的存储节点的数目可能从几个到几百个存储节点不等。这个节点列表可进一步具有一个版本号。

此外，存储节点15可以包含一个复制块21和一个集群监控块23。复制块21包含一个存储节点API 25，并且被配置成执行用于识别对一个复制过程的需求并进行该复制过程的功能，如随后将详细描述。由于该复制过程包括在很大程度上与由服务器7在将描述的读取和写入操作期间进行的动作相对应的动作，所以复制块21的存储节点API 25可以含有在很大程度上与服务器7的存储节点API 11的代码相对应的代码。例如，在复制期间进行的写入操作在很大程度上与由服务器7进行的写入操作相对应。集群监控块23被配置成监控数据存储系统13中的其他存储节点，如随后将更详细描述。

该分布式数据存储系统的存储节点15可以被认为存在于相同的层次等级下。无需指定任何负责维护所存储的数据实体目录并监控数据一致性等等的主存储节点。相反，所有的存储节点15都可以被认为是相等的，并且有时可以与系统中的其他存储节点相比进行数据管理操作。这种相等确保了系统是稳健的。在一个存储节点发生故障的情况下，系统中的多个其他节点将覆盖该故障节点并确保可靠的数据存储。

将按以下顺序描述系统的操作：数据读取、数据写入以及数据维护。即使这些方法一起很好地工作，但应当指出的是，它们原则上也可以彼此独立地进行。也就是说，例如，即使不使用本披露的数据写入方法，该数据读取方法也可以提供优异的性能，反之亦然。

现参见图2A至图2C以及图3描述该读取方法，图3是展示本方法的一个流程图。

读取（以及系统中的其他功能）使用组播通信来与多个存储节点同步通信。通过组播或IP组播在此是指一种点到多点通信，这种点到多点通信是通过向为组播应用程序保留的一个IP地址发送一个消息而实现的。

例如，一个消息（典型地是一个请求）被发送到这样一个IP地址（例如，244.0.0.1），并且多个收件人服务器被注册为该IP地址的用户。这些收件人服务器各自具有它们自己的IP地址。当网络中的一个交换机接收到指向244.0.0.1的消息时，该交换机将该消息转发到注册为用户的每个服务器的IP地址。

原则上，仅有一个服务器可以被注册为一个组播地址的用户，在这种情况下实现了一种点对点的通信。然而，在本披露的上下文中，由于采用了组播方案，因此这种通信仍被认为是一种组播通信。

也参照一种与单个接收人进行通信来采用单播通信。

参见图2A和图3，用于从一个数据存储系统检索数据的方法包括将一个组播查询发送（31）到多个存储节点15。在所示的情况下，存在五个存储节点，每个节点都具有一个IP（互联网协议）地址192.168.1.1、192.168.1.2，等等。毫无疑问，存储节点的数量只是一个例子。该查询含有一个数据标识符“2B9B4A97-76E5-499E-A21 A6D7932DD7927”，该数据标识符可以（例如）是本身众所周知的一个通用唯一标识符（UUID）。

这些存储节点对其自身进行扫描从而获得与该标识符相对应的数据。如果找到了这种数据，则一个存储节点发送由服务器7接收（33）的一个响应，参看图2B。如图所示，除了存储节点具有相关数据的一个副本这一指示外，该响应还可以任选地含有另外的信息。确切地讲，该响应可以含有来自与含有该数据的其他存储节点有关的存储节点目录的信息、有关该存储节点中含有哪种版本的数据的信息以及有关该存储节点目前暴露于哪种负载的信息。

基于这些响应，服务器选择（35）一个或多个存储节点（有待从这些节点中检索数据），并且向该/这些存储节点发送（37）对数据的一个单播请求，参照图2C。

响应于对数据的该请求，这个/这些存储节点向接收（39）该数据的服务器发送相关数据。在所示的情况下，仅选中一个存储节点。虽然这是足够的，但有可能的是选择超过一个存储节点，以便接收两组数据，这样使得一致性检查成为可能。如果数据传递失败，则服务器可以选择另一个存储节点来进行检索。

存储节点的这种选择可以基于一种综合考虑多种因素的算法，以便实现良好的整体系统性能。典型地，将选择数据版本最新和负载最低的存储节点，尽管其他概念也是完全有可能的。

任选地，操作可以通过服务器向所有涉及的存储节点发送一个列表来结束，这个列表指示哪些节点含有数据并且具有哪种版本。基于此信息，这些存储节点本身可以通过将有待描述的复制过程恰当地维护数据。

图4A至图4C以及图5示出了用于分布式数据存储系统的一个数据写入过程。

参见图4A和图5，该方法包括服务器向多个存储节点发送（41）一个组播存储查询。该存储查询包括一个数据标识符，并且基本上由接收存储节点是否可以存储此文件这一问题组成。任选地，这些存储节点可以通过它们的内部目录来检查它们是否已经使一个文件具有这个名称，并且可以在不可能事件的情况下通知服务器7情况就是这样，这样使得该服务器可以重新命名该文件。

在任何情况下,这些存储节点的至少一个子集都将通过向服务器7的单播传输来提供响应。典型地，预定可用磁盘空间最小的存储节点将回答该查询。服务器7接收（43）多个响应，这些响应包括与每个存储节点的特性相关的存储节点信息，例如与每个服务器的地理位置相关的地理数据。例如，如图4B中所示，此类地理数据可以包含每个服务器的纬度、经度以及高度。然而，其他类型的地理数据也可以是可能的，例如，一个邮政编码、一个定位字符串（即，建筑物、房间、机架行、机架列）或类似物。

可替代地，或除地理数据外，还可以提供与存储节点特性相关的另外的信息，用作到一个存储节点选择过程的输入。在所示的实例中，每个存储节点中的可用空间量与该存储节点的系统年龄指示以及存储节点当前经历的负载的指示一起被提供。

基于接收到的响应，服务器选择（45）该子集中的至少两个（在一个典型的实施方案中是三个）存储节点以用于存储数据。存储节点的这种选择是通过一种考虑到不同数据的算法来进行。可以进行这种选择以便实现某种地理多样性。至少可以优选避免的是仅同一个机架中的文件服务器被选择作为存储节点。典型地，可以实现丰富的地理多样性，甚至是在不同的大陆上选择多个存储节点。除了地理多样性外，其他的参数也可以包含在这种选择算法中。在该选择过程中具有一个随机特征是有利的，如下文将披露。

典型地，该选择可以通过选择在地理上充分分离的多个存储节点开始进行。这可以用多种方式进行。例如，可以存在一种识别多个存储节点群组的算法，或存储节点可以具有群组编号，这样使得可以在每个群组中很容易地挑选出一个存储节点。

然后，该选择可以包含基于每个节点的存储节点信息（系统年龄、系统负载等）计算与一个存储节点能力得分相对应的概率因数。一个较年轻的系统（例如，不太可能发生故障的系统）获得一个较高的得分。因此，该概率因数可以被计算为两个向量的标积，其中一个向量含有存储节点信息参数（或它们的倒数，如果适用的话）并且另一个向量含有相应的加权参数。

然后，该选择包括随机地选择多个存储节点，其中一个特定存储节点被选中的概率取决于其概率因数。典型地，如果第一服务器具有高达第二服务器两倍的概率因数，则该第一服务器具有高达两倍的被选中概率。

在进行这种随机选择前去除概率因数最低的一定比例的存储节点是有可能的，这样使得这种选择是针对子集中的一部分节点进行，该部分包含概率因数最高的存储节点。如果存在很多可能致使这种选择算法计算耗时的可用存储节点，那么这是尤其有用的。

毫无疑问，这种选择过程可以用不同的方式进行。例如，有可能的是首先计算用于响应子集中的所有存储节点的概率因数并进行随机选择。当这完成之后,可以检查所产生的地理多样性是否是充分的，并且如果它不够充分，则利用从该子集中排除掉的两个最靠近的选中存储节点之一来重复该选择。在存在很多可用存储节点的情况下，再次基于地理多样性来进行第一选择，例如，基于多个其他参数在用于随后的选择的每个群组中挑选出一个存储节点，是尤其有用的。在那些情况下，在不利用所有可用存储节点的参数执行计算的情况下，仍将会进行一个良好的选择。

当已经选中这些存储节点时，待存储的数据和一个相应的数据标识符被发送到每个所选中的节点，典型地使用单播传输。

任选地，该操作可以通过已成功地进行了写入操作的每个存储节点向服务器发送一个确认来结束。然后，该服务器向所有涉及的存储节点发送一个列表，这个列表指示哪些节点已成功地写入数据以及哪些还没有写入数据。基于此信息,这些存储节点本身可以通过有待描述的复制过程恰当地维护数据。例如，如果一个存储节点的写入失败，则有必要将文件复制到又一个存储节点上，以便实现将所希望数量的存储节点用于该文件。

当可以提供优异的地理多样性时，这种数据写入方法本身允许服务器7中的一个API以非常稳健的方式存储数据。

除写入和读取操作外，服务器7中的该API也可以进行删除文件和更新文件的操作。这些过程将连同数据维护过程在下文进行描述。

数据维护过程的目的在于确保合理数量的非故障存储节点各自存储每个文件的最新版本。此外，该数据维护过程可以提供在任何存储节点都不存储任何已删除的文件这一功能。该维护是通过存储节点本身来进行。因此，不需要负责数据存储维护的专用“主节点（master）”。这确保了可靠性的提高，否则“主节点”将会成为系统中的一个弱点。

图6示意性地示出多个文件被存储在多个数据存储节点之中的情况。在所示的情况下，出于图示目的，描绘了具有从192.168.1.1到192.168.1.12连续编号的多个IP地址的十二个节点。然而，毫无疑问，IP地址编号根本不需要在同一个范围内。这些节点以圆形的顺序放置是仅用以简化描述，即，这些节点不需要具有任何特定的顺序。为了简单起见，每个节点存储通过字母A到F标识的一个或两个文件。

参见图8，用于维护数据的方法包括检测（51）数据存储系统中的条件，这些条件暗示了数据存储系统中这些节点之间的数据是否需要复制，以及一个复制过程53。检测过程51的结果是一个文件表55，已经为该列表标识了是否需要复制。该列表可以进一步包含有关不同复制需要的优先级的数据。基于此列表进行复制过程53。

分布式存储的稳健性依赖于将每个文件的合理数量的副本（正确的版本）存储在系统中。在所示的情况下,存储每个文件的三个副本。然而，例如，假如地址为192.168.1.5的存储节点失效，则将达不到用于文件“B”和“C”的所希望数量的存储副本。

因此，导致需要进行复制的一个事件是系统中的一个存储节点发生了故障。

系统中的每个存储节点都可以监控系统中其他存储节点的状态。这可以通过让每个存储节点每隔一定时间发出一个所谓的心跳信号来进行，如图7中所示。在所示的情况下，地址为192.168.1.7的存储节点向系统中的其他存储节点发出一个组播信号57，以指示它正在正确地工作。这个信号可以由进行心跳监控59（参见图8）的系统中的所有其他起作用的存储节点或其子集接收。然而，在地址为192.168.1.5的存储节点的情况下，这个节点发生故障并且不发出任何心跳信号。因此，其他存储节点会注意到这个节点在很长时间内没有发出任何心跳信号，这说明所考虑的存储节点是停机的。

除了该存储节点的地址外，该心跳信号还可以包含其节点列表版本号。然后，侦听心跳信号并发现正在发射的存储节点具有一个旧版本的节点列表的另一个存储节点可以请求那个正在发射的存储节点传递其节点列表这意味着仅通过添加或去除一个存储节点并向一个单一存储节点发送一个新的节点列表版本就可以获得存储节点的添加和去除。然后，这个节点列表将传播到系统中所有其他的存储节点。

再次参见图8，每个存储节点搜索（61）其内部目录以获得由发生故障的存储节点存储的文件。自身存储文件“B”和“C”的存储节点将发现发生故障的存储节点并且因此可以将相应的文件添加到其列表55上。

然而，检测过程也可以显示其他条件，这些条件暗示是否需要复制一个文件。典型地，此类条件可以是不一致的，即，一个或多个存储节点具有该文件的一个过时版本。删除操作也暗示一个复制过程，因为这个过程可以对该文件进行实际物理删除。然后，服务器的删除操作只需要确保这些存储节点为所考虑的文件设置一个删除标志。因此，每个节点都可以监控在数据存储系统中进行的读取和写入操作。在读取和写入操作完结时由服务器7提供的信息可能分别指示一个存储节点含有一个过时版本的文件（在读取操作的情况下），或一个存储节点没有成功地进行写入操作。在这两种情况下，存在通过复制来维护数据的需要，这样使得满足了维护过程的总体目的。

除了基本的读取操作63和写入操作65外，至少两个另外的过程可以提供以下指示：是否存在进行复制的需要，即，现在给出了对删除67和更新69过程的简要说明。

由服务器7启动这个删除过程（参看图1）。与读取过程相类似,服务器通过向所有的存储节点组播来发送一个查询,以便找出哪些存储节点数据具有的数据带一个特定的数据标识符。这些存储节点扫描自身以获得带有相关标识符的数据，并且如果它们具有所考虑的数据，则通过单播传输来响应。从存储节点目录，该响应可以包含具有该数据的其他存储节点的一个列表。然后，服务器7向这些存储节点发送一个删除该文件的单播请求，这些存储节点被认为存储该文件。每个存储节点都设置一个标志，这个标志与该文件相关并指示它应当被删除。然后，将该文件添加到复制列表并向服务器发送一个确认。然后，该复制过程物理地删除该文件，如将进行描述。

更新过程具有与删除过程中的一个功能相类似的一个搜索功能，以及与写入过程中所进行的一个功能相类似的一个写入功能。服务器通过组播向所有的存储节点发送一个查询，以便找出哪些存储节点数据具有的数据带有一个特定的数据标识符。这些存储节点扫描自身以获得带有相关标识符的数据，并且如果它们具有所考虑的数据，则通过单播传输来响应。从存储节点目录，该响应可以包含具有该数据的其他存储节点的一个列表。然后，服务器7发送一个单播请求，以告知这些存储节点更新数据。当然，该请求包含已更新的数据。更新该数据的这些存储节点向服务器发送一个确认，这通过发送含有一个列表的单播传输来响应，该列表具有成功更新了该数据的存储节点以及尚未更新该数据的存储节点。同样，可以通过维护过程使用这个列表。

再次参见图8，读取63、写入65、删除67以及更新69操作可能都指示是否存在进行复制的需要。这同样适用于心跳监控59。因此，整个检测过程51产生与需要被复制的文件相关的数据。例如，读取或更新操作可以显示一个特定的存储节点含有一个过时版本的文件。删除过程可以为一个特定的文件设置一个删除标志。心跳监控可以显示存储在发生故障的存储节点上的多个文件需要被复制到一个新的存储节点上。

每个存储节点监控是否需要复制其存储的所有文件并维护一个复制列表55。因此，该复制列表55含有需要被复制的多个文件。这些文件可以按照与每个复制的优先级一致的方式排序。典型地，可能存在三种不同的优先等级。最高等级是为存储节点拥有其最新在线副本的文件保留的。这种文件需要被快速复制到其他存储节点上，这样使得可以实现合理水平的冗余。中等等级的优先级可以与其中版本在这些存储节点之间是不一致的多个文件相关。较低等级的优先级可以与存储在发生故障的一个存储节点上的多个文件相关。

存储节点根据复制列表55上的文件的优先级来处理这些文件。复制过程现被描述成用于在此称为操作存储节点的一个存储节点，尽管所有的存储节点都可以这种方式操作。

维护过程的复制部分53以操作存储节点开始，该操作存储节点试图（71）成为旨在复制文件的主节点。这些操作存储节点向已知存储所考虑文件的其他存储节点发送一个单播请求以成为主节点。目录19（参看图1）提供了一个主机列表，这个列表包括与要询问哪些存储节点相关的信息。例如，在碰撞请求的情况下，如果这些存储节点之一不肯定地响应，则将该文件暂时移回该列表，而利用该列表上的下一个文件进行尝试。否则，该操作存储节点会被认为是这个文件的主节点，并且其他存储节点设置一个标志，这个标志指示该操作存储节点是用于所考虑的文件的主节点。

下一个步骤是在分布式存储系统中找到（73）所考虑的文件的所有副本。这可以通过该操作存储节点向所有的存储节点发送一个组播查询，以询问这些存储节点中的某些存储节点是否具有该文件来进行。具有该文件的存储节点提交对该查询的响应，这些响应含有这些存储节点所保存的文件的版本以及它们的主机列表，即，含有被保存在每个存储节点的目录中的相关文件的存储节点列表。然后，通过该操作存储节点合并（75）这些主机列表，这样使得与所有检索到的主机列表的联合相对应地形成了一个主节点主机列表。如果找到了另外的存储节点，这些另外的存储节点在该操作存储节点试图成为主节点时不被询问，那么现在可以对这些另外的存储节点重复该步骤。该主节点主机列表含有与不同的存储节点保存该文件的哪些版本并说明整个存储系统内文件的状态相关的信息。

假如该操作存储节点不具有所考虑的文件的最新版本，则随后从确实具有最新版本的存储节点之一检索（77）这个文件。

然后，该操作存储节点决定（79）是否需要更改主机列表，典型地是否需要添加另外的存储节点。如果需要，则该操作存储节点可以进行与由服务器进行并且结合图4A至图4C以及图5描述的写入过程非常类似的一个过程。这个过程的结果是该文件被写入到一个新的存储节点上。

在版本不一致的情况下，该操作存储节点可以更新（81）存储在其他存储节点上的文件的副本，这样使得所存储的所有文件都具有正确的版本。

可以删除（83）所存储文件的多余的副本。如果复制过程是由一个删除操作启动的，则该过程可以直接跳到这个步骤。然后，一旦所有的存储节点已接受了文件的删除，该操作存储节点就只使用单播来请求所有的存储节点物理地删除所考虑的文件。这些存储节点确认该文件已被删除。

进一步更新状态，即，该文件的主节点主机列表。然后，任选地，有可能的是重复步骤73至83，以便确保不再存在进行复制的需要。这个重复应当导致不需要在步骤85中更新一个一致的主节点主机列表。

此后，用于该文件的复制过程结束，并且该操作存储节点可以作为该文件的主节点，通过向主机列表上所有其他的存储节点发送一个相应的消息来释放（87）该状态。

每个存储节点都负责贯穿该存储节点集合来维护它存储的所有文件的这个系统提供具有优异可靠性的一个自修复（在一个存储节点发生故障的情况下）自清除（在文件不一致或文件待删除的情况下）系统。这个自修复自清除系统是可以很容易地伸缩的并且可以同时存储用于大量不同的应用程序的文件。

本发明不限于具体披露的实例，并且能够以不同的方式在不脱离所附权利要求书的范围的情况下进行改变并修改。

Claims (11)

1.一种用于将数据写入数据存储系统中的方法，该数据存储系统包括多个数据存储节点，该方法用于服务器中，该服务器运行访问该数据存储系统中的数据的应用程序，并且该方法包括：

-向多个所述存储节点发送（41）一个组播存储查询；

-从所述存储节点的一个子集接收（43）多个响应，这些响应包括对应地与每个存储节点有关的存储节点信息；

-基于所述响应在该子集中选择（45）至少两个存储节点，其中该选择包括：

--基于一种算法为在该子集中的每个存储节点确定一个概率因数，该概率因数是基于其存储节点信息的；并且

--随机地选择所述至少两个存储节点，其中一个存储节点被选中的概率取决于其概率因数；并且

-将数据和与该数据相对应的一个数据标识符发送（47）给这些选中的存储节点。

2.根据权利要求1所述的方法，其中存储节点信息包括与每个存储节点的地理位置相关的地理数据。

3.根据权利要求2所述的方法，其中该地理位置包括所考虑的存储节点的纬度和经度。

4.根据权利要求2或3所述的方法，其中基于地理分离来为该子集中满足一个主要标准的多个存储节点执行存储节点的这种随机选择。

5.根据权利要求1所述的方法，其中该存储节点信息包括关于所考虑的存储节点的系统年龄。

6.根据以上权利要求中任一项所述的方法，其中该存储节点信息包括关于所考虑的存储节点的系统负载。

7.根据以上权利要求中任一项所述的方法，其中该组播存储查询包括标识有待存储的数据的一个数据标识符。

8.根据以上权利要求中任一项所述的方法，其中选中至少三个节点。

9.根据以上权利要求中任一项所述的方法，其中将成功存储该数据的一个存储节点列表发送给这些选中的存储节点。

10.根据以上权利要求中任一项所述的方法，其中为该子集中的一部分节点执行这种随机选择，该部分包括具有最高概率因数的存储节点。

11.一种适配成用于将数据写入数据存储系统中的服务器，该数据存储系统包括多个数据存储节点，该服务器包括：

-用于向多个所述存储节点发送一个组播存储查询的装置；

-用于从所述存储节点的一个子集接收多个响应的装置，这些响应包括对应地与每个存储节点有关的存储节点信息；

-用于基于所述响应在该子集中选择至少两个存储节点的装置，其中该选择包括

--基于一种算法为在该子集中的每个存储节点确定一个概率因数，该概率因数是基于其存储节点信息的；并且

--随机地选择所述至少两个存储节点，其中一个存储节点被选中的概率取决于其概率因数；以及

-用于将数据和与该数据相对应的一个数据标识符发送给这些选中的存储节点的装置。

Images