CN104348793A

CN104348793A - 存储服务器系统及数据信息的存储方法

Info

Publication number: CN104348793A
Application number: CN201310325501.2A
Authority: CN
Inventors: 封仲淹
Original assignee: Alibaba Group Holding Ltd
Current assignee: Advanced New Technologies Co Ltd
Priority date: 2013-07-30
Filing date: 2013-07-30
Publication date: 2015-02-11
Anticipated expiration: 2033-07-30
Also published as: CN104348793B

Abstract

本申请涉及一种存储服务器系统及数据信息的存储方法，该存储服务器系统包括：多个存储服务器组，每个所述存储服务器组包括多个存储服务器；所述存储服务器用于对接收到的待存储的数据信息进行固化存储处理，生成数据信息的对象标识信息并发送至客户端，并将存储后的数据信息同步至本组其他的存储服务器。通过本申请使得存储服务器具备良好的扩展能力，从而能够提升元数据服务器的性能。

Description

存储服务器系统及数据信息的存储方法

技术领域

本申请涉及元数据存储技术领域，更具体地涉及一种存储服务器系统及数据信息的存储方法。

背景技术

现有的绝大部分分布式文件系统或并行文件系统中，即使是目前影响力最大的分布式文件系统或并行文件系统（例如目前流行的Hadoop、Google公司的GooleFS、Sun公司的Lustre、Clemson大学和NASA联合开发的PVFS、IBM公司的GFS等）的元数据服务器均是集中式，即由一主一备或一主两备，虽然元数据服务器为多台机器，但真正提供元数据访问的服务器往往只有一台。

现有的绝大部分分布式文件系统或并行文件系统，为了保证元数据的一致性，将所有的写操作控制在一台服务器内，虽然这样操作，可以有效的仲裁并控制多台客户端对同一元数据进行修改或竞争，能够自始至终保障了元数据的一致性。但是这样一来又导致了单点故障，为了解决单点故障必须加入备机，但是这样一来又引入了复杂地热切技术，需要保障系统主元数据发生故障时，系统可以无缝切换到备机。

集中式元数据服务器，虽然解决了元数据一致性的问题，但始终引入另外一个严重问题，元数据服务器无法进行扩展。集群的吞吐量始终受限制于一台服务器的服务能力，可能受制于这台服务器的内存，内存无法存储缓存足够的元数据；或可能受制于网络，始终不能让QPS（QueryPerSecond，每秒查询率）超过4万或带宽不能超过网卡；或受限于CPU的计算能力。即使像Hadoop一样，将每个元数据控制在64Byte以内，也仅仅是让内存能够缓存更多的元数据而已，尽量减少IO，提高响应速度。以目前Hadoop为例，当集群的规模开始超过3000台时，namenode的压力就开始凸显出来，当集群规模超过10000台时namenode必须控制应用，或者修改客户端对一些可以避免的namenode访问就避免，或者做限流，对于大任务将其拆分为小任务，尽量让出namenode的请求。

综上所述，可知现有技术中存在元数据服务器无法扩展导致元数据服务器性能下降的问题，因此有必要提出改进的技术手段解决上述问题。

发明内容

本申请的主要目的在于提供一种存储服务器系统及数据信息的存储方法，以解决现有技术中存在的元数据服务器无法扩展导致元数据服务器性能下降的问题。

为解决上述技术问题，根据本申请的一个方面，提供了一种存储服务器系统，用于存储元数据对应的数据信息，所述系统包括：多个存储服务器组，每个所述存储服务器组包括多个存储服务器；所述存储服务器用于对接收到的待存储的数据信息进行固化存储处理，生成数据信息的对象标识信息并发送至客户端，并将存储后的数据信息同步至本组其他的存储服务器。

其中，所述对象标识信息中包括以下信息之一或其组合：存储服务器组的组标识信息、存储服务器的主机信息、存储服务器本地相对路径信息、校验信息、数据大小信息。

其中，所述系统还包括：多个存储服务控制器；所述存储服务器还用于将其本地存储状态信息分别通知每个存储服务控制器。

其中，所述存储服务控制器还用于通知存储服务器其所在组中其他存储服务器的信息；所述存储服务器还用于将本地数据信息同步至本组其他的存储服务器。

其中，所述存储服务控制器还用于接收客户端发送的上传数据请求信息，根据存储服务器的存储状态信息确定存储上传数据的存储服务器，并将确定的存储服务器的相关信息通知所述客户端。

其中，所述系统还包括：客户端，用于根据数据信息的对象标识信息在元数据服务器建立元数据；其中，所述元数据的格式包括文件元数据格式和文件夹元数据格式，所述文件元数据格式包括以下字段：版本号、数据、块列表、安全结构、扩展属性；所述文件夹元数据格式包括以下字段：版本号、数据、文件列表、安全结构、扩展属性。

其中，所述客户端还用于通过元数据服务器获取数据信息的对象标识信息，根据所述对象标识信息确定存储数据的存储服务器，并向确定的存储服务器发送访问请求信息以获得访问的数据信息。

其中，所述客户端在所述确定的存储服务器处不能够获得数据信息的情况下，根据存储服务器组的组标识信息遍历该组内其他的存储服务器，直到获得访问的数据信息。

根据本申请的另一方面，还提供了一种数据信息的存储方法，用于存储元数据对应的数据信息，所述方法包括：预先设置多个存储服务器组，每个所述存储服务器组包括多个存储服务器；所述存储服务器接收到待存储的数据信息后，对所述数据信息进行固化存储处理，生成数据信息的对象标识信息并发送至客户端，并将存储后的数据信息同步至本组其他的存储服务器。

其中，所述方法还包括：预先设置多个存储服务控制器；所述存储服务器将其本地存储状态信息分别通知每个存储服务控制器。

其中，所述方法还包括：所述存储服务控制器通知存储服务器其所在组中其他存储服务器的信息；所述存储服务器将本地数据信息同步至本组其他的存储服务器。

其中，所述存储服务控制器在接收到客户端发送的上传数据请求信息后，根据存储服务器的存储状态信息确定存储上传数据的存储服务器，并将确定的存储服务器的相关信息通知所述客户端。

其中，在所述存储服务器将数据信息的对象标识信息发送至客户端的步骤后，所述方法还包括：所述客户端根据数据信息的对象标识信息在元数据服务器建立元数据；其中，所述元数据的格式包括文件元数据格式和文件夹元数据格式，所述文件元数据格式包括以下字段：版本号、数据、块列表、安全结构、扩展属性；所述文件夹元数据格式包括以下字段：版本号、数据、文件列表、安全结构、扩展属性。

其中，所述方法还包括：所述客户端通过元数据服务器获取数据信息的对象标识信息，根据所述对象标识信息确定存储数据的存储服务器，并向确定的存储服务器发送访问请求信息以获得访问的数据信息。

其中，所述方法还包括：所述客户端在所述确定的存储服务器处不能够获得数据信息的情况下，根据存储服务器组的组标识信息遍历该组内其他的存储服务器，直到获得访问的数据信息。

根据本申请实施例，通过多个存储服务器组存储元数据对应的数据信息，且组内的存储服务器存储相同的数据，实现了分布式或并行的数据存储，并且该存储服务器具备良好的扩展能力，从而提升了元数据服务器的性能。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的存储服务器系统的结构框图；

图2是根据本申请实施例的SSM和SS初始化操作的流程图；

图3是根据本申请实施例的客户端创建文件的流程图；

图4是根据本申请一个实施例的数据信息的存储方法的流程图；以及

图5是根据本申请另一实施例的数据信息的存储方法的流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

根据本申请的实施例，提供了一种存储服务器系统，该系统用于存储元数据对应的数据信息。

下面结合图1对本申请的存储服务器系统做进一步说明。图1是根据本申请实施例的存储服务器系统的结构框图，参考图1，所述存储服务器系统包括：多个存储服务器组和一个存储服务控制器组。

一个存储服务控制器组（SSM组）包括多个存储服务控制器（SSM1-SSMm）。在系统中存储服务控制器负责所有存储资源的监控和分配。一般情况下，SSM之间是平等关系，但是本申请对此不进行限制，SSM之间也可以是其他关系（例如主从关系）。存储服务控制器的数量应根据存储服务器组以及存储服务器的数量进行设置，应满足对系统内所有存储资源的管理和分配的要求，但本申请对于存储服务控制器的数量不进行限制。

SSM组用于管理多个存储服务器组（SS组1-SS组n）的存储资源，一个存储服务器组包括多个存储服务器（SS），例如在SS组1内包括有SS1-SSn等多个SS。存储服务器是提供存储服务的主要设备，每个组内的存储服务器在组内是完全相等的，即同组的存储服务器存储的数据信息是完全相同的。当任意SS发生机器故障时，可以直接通过磁盘拷贝进行数据恢复。存储服务器组的数量以及每个组内的存储服务器的数量应满足实际需求，本申请对此不进行限制，并且各个组的存储服务器的数量可以相同也可以不同。

通过上述的存储服务器系统的结构，使得存储服务器具备良好的扩展能力，从而提升了存储元数据的数据的性能。

在进行正式的数据存储处理之前，SSM和SS需要进行初始化操作。下面结合图2描述SSM和SS启动后的初始化操作过程。如图2所示，具体包括以下步骤：

步骤S202，SSM上电启动后，向系统注册为SSM。

步骤S204，SS上电启动后，定时从系统获取SSM的数量信息以及地址信息，从而得知系统内的SSM信息。

步骤S206，SS根据获取到的SSM信息分别向每一个SSM发送信息，将本地的存储状态分别通知到每个SSM。具体地，信息中包括但不限于该SS当前的可用存储资源、已用存储资源、存储状态的变化等信息。在实际中，可以通过发送心跳包的方式将SS的存储状态通知SSM，但本申请对心跳包发送的时间间隔不进行限制。

步骤S208，SSM接收到SS的存储状态的信息后，需要向SS发送响应信息，通知SS其同组的其他SS成员的信息。实际上，SSM组中的每个SSM都会接收到每个SS发送的信息，若每个SSM都发送响应信息，不仅会增加系统开销，另外SS接收多条相同的信息也没有实际意义，因此可以设置SSM组中的一个SSM发送响应消息，具体地如何选择发送响应消息的SSM的方式本申请不进行限制。

步骤S210，SS根据获得的同组其他SS的信息，将本地数据同步到本组其他的SS。

通过上述的处理流程，系统内的所有SS初始化完成后，能够保证每一组内的SS都存储有同样的数据信息。

在实际应用中，对于存储服务器的数据操作包括读操作和写操作，下面分别详细描述。

写操作（数据上传）

首先，SSM接收客户端（Client）发送的上传数据请求信息，根据当前SS的存储状态以及待存储的数据大小等信息为该数据信息分配存储的SS，并将确定的SS的相关信息通知客户端。分配的SS执行存储数据信息的功能，上述确定SS的方式可以采用数据分担或其他的原则，本申请对此不进行限制。具体地通知方式包括，SSM向客户端发送响应信息，响应信息中包括但不限于：确定的存储服务器的主机信息（SS hostname）、以及确定的SS其所在存储服务器组的组标识信息（GroupId）。

然后，客户端根据SSM通知的消息向SS上传数据信息。

SS接收到客户端发送的上传数据信息（即待存储的数据信息）后，对该数据进行固化存储处理。具体地，SS对上传的数据文件落地成文件后，进行数据的固化处理，SS本身并不提供更改和添加功能（添加功能本文后续会介绍如何实现）。

接着，SS生成数据信息的对象标识信息（ObjID）并发送至客户端，并将存储后的数据信息同步至本组其他的存储服务器。具体地，对象标识信息中包括以下信息之一或其组合：存储服务器组的组标识信息（GroupId）、存储服务器的主机信息（SS hostname）、存储服务器本地相对路径信息、校验信息（例如CRC校验）、数据大小信息（SIZE）。

然后，客户端根据数据信息的ObjID在元数据服务器建立元数据，元数据格式包括文件元数据格式和文件夹元数据格式。

文件元数据格式包括但不限于以下字段：

（1）版本号；

（2）数据（Stat）：要求数据满足POSIX（Portable Operating SystemInterface，可移植操作系统接口）函数int stat（const char*path，struct stat*buf）的结构数据；

（3）块列表（Block List）：每一个Block包括：startOffset（偏移开始位置）–endOffset（偏移结束位置）以及ObjID，其中ObjID为SS返回的ObjID；

（4）安全结构（Security struct）：在兼容POSIX的ACL（Access ControlList，访问控制列表）要求基础上，可以增加用户自定义的安全属性；

（5）扩展属性（Extension property）：扩展属性可以增加用户自定义的属性对。

文件夹元数据格式包括但不限于以下字段：

（1）版本号；

（3）文件列表（File List）：为子文件List；

读操作（数据访问）

客户端通过元数据服务器获取数据信息的ObjID，解析ObjID确定存储数据的SS Hostname，并向确定的SS发送访问请求信息以获得访问的数据信息。

如果该SS出现网络不通或无法访问的情况，则根据GroupID，遍历同组其他SS节点，直至成功或全部失败。

在本申请中，服务器端包括元数据服务器、存储服务器以及存储服务控制器，均只提供原子操作，而常见的文件操作（比如创建文件）均由客户端通过封装一系列请求来完成。

下面结合图3以创建文件为例进行详细说明，如图3所示包括：

步骤S302，锁定（Lock）父节点元数据；

步骤S304，获取（Get）父节点元数据；

步骤S306，进行安全检查等操作，若安全检查成功则执行步骤S308，否则执行步骤S312，结束流程；

步骤S308，修改父节点元数据，增加数据文件；

步骤S310，提交新的元数据；

步骤S312，解锁（Unlock）父节点元数据，创建文件流程结束。

根据本申请实施例，通过将元数据服务器的部分功能由存储服务器和客户端进行分担，由元数据服务器、存储服务器和客户端访问方式综合考虑，使元数据服务器具备良好的扩展能力，从而提升了元数据服务器的性能。

在本申请的一个实施例中，元数据服务器是非定制元数据服务器，可以采用普通键值数据库（KV数据库）实现，例如：HBase、Cassandra、Tair、Hypertable等等。通过本申请，元数据服务器具备了以下效果：

（1）数据库具备很强的扩展性，当单机出现性能瓶颈时，可以通过增加节点分担压力，提高系统的吞吐力。

（2）具备事务性，即可以对某键值对进行锁定或原子操作。

（3）无单点故障，数据具备一定的冗余性。

（4）支持命名空间，或者类似传统关系数据库中的分库。

根据本申请的实施例，还提供了一种数据信息的存储方法，该存储方法用于存储元数据对应的数据信息。

图4是根据本申请实施例的数据信息的存储方法的流程图，如图4所示，该方法包括：

步骤S402，预先设置多个存储服务器组，每个存储服务器组包括多个存储服务器；

步骤S404，存储服务器接收到待存储的数据信息后，对数据信息进行固化存储处理，生成数据信息的对象标识信息（ObjID）并发送至客户端，并将存储后的数据信息同步至本组其他的存储服务器。

其中，对象标识信息（ObjID）中包括以下信息之一或其组合：存储服务器组的组标识信息、存储服务器的主机信息、存储服务器本地相对路径信息、校验信息、数据大小信息。

下面参考图5详细描述本申请的实施例。首先，预先设置一个存储服务控制器组（SSM组）以及设置多个存储服务器组（SS组），其中，一个SSM组包括多个存储服务控制器（SSM），一个SS组包括多个存储服务器（SS）。

参考图5，本申请的数据信息的存储方法具体包括以下步骤：

步骤S502，SSM和SS分别获取对方的信息。在设置完毕SSM和SS后，如果需要系统能够正常工作，需要SSM和SS能够知道对方的信息。首先，SSM启动后会在系统自行注册为SSM。当SS启动后会通过系统得知SSM的数量以及位置信息，SS将其存储状态信息发送至每一个SSM，SSM会对每一个SS发送的信息进行响应，响应消息中包含该SS组其他的SS成员。

步骤S504，SS获知其同组的SS信息后，将本地数据同步至本组其他的SS。

步骤S502-S504描述了SSM和SS初始化的过程。经过上述处理，同一组内的SS存储有同样的数据，保持同样的存储状态，并且SSM能够得知系统内每组SS（即每个SS）的存储状态。

步骤S506，客户端向任一SSM发送上传数据请求信息。

步骤S508，SSM接收到该上传数据请求信息后根据SS的存储状态信息确定执行存储服务的SS，并将该SS的相关信息通知客户端，所述相关信息包括：该SS的主机信息（SS hostname）、以及该SS所在SS组的组标识信息（GroupId）。

步骤S510，客户端根据接收的SS的相关信息向该SS上传数据。

步骤S512，SS接收到待存储的数据信息（上传数据）后，对数据进行固化存储处理，生成数据信息的对象标识信息（ObjID）并发送至客户端，同时将存储后的数据信息同步至本组其他的SS。

步骤S508-S512描述了数据上传的写操作过程。

步骤S514，客户端根据数据信息的ObjID在元数据服务器建立元数据。其中，元数据的格式包括文件元数据格式和文件夹元数据格式，文件元数据格式包括以下字段：版本号、数据、块列表、安全结构、扩展属性；文件夹元数据格式包括以下字段：版本号、数据、文件列表、安全结构、扩展属性。

步骤S516，客户端通过元数据服务器获取数据信息的ObjID，根据ObjID确定存储数据的SS，并直接向该SS发送访问请求信息以获得访问的数据信息。在不能够通过该SS获得数据信息的情况下，客户端根据SS组的组标识信息遍历该组内其他的SS，直到获得访问的数据信息或全部失败。

步骤S516描述数据访问的读操作过程。

综上所述，根据本申请的上述实施例，通过多个存储服务器组存储元数据对应的数据信息，且组内的存储服务器存储相同的数据，实现了分布式或并行的数据存储，并且该存储服务器具备良好的扩展能力，从而提升了元数据服务器的性能。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种存储服务器系统，用于存储元数据对应的数据信息，其特征在于，所述系统包括：多个存储服务器组，每个所述存储服务器组包括多个存储服务器；

所述存储服务器用于对接收到的待存储的数据信息进行固化存储处理，生成数据信息的对象标识信息并发送至客户端，并将存储后的数据信息同步至本组其他的存储服务器。

2.根据权利要求1所述的系统，其特征在于，所述对象标识信息中包括以下信息之一或其组合：存储服务器组的组标识信息、存储服务器的主机信息、存储服务器本地相对路径信息、校验信息、数据大小信息。

3.根据权利要求2所述的系统，其特征在于，还包括：多个存储服务控制器；所述存储服务器还用于将其本地存储状态信息分别通知每个存储服务控制器。

4.根据权利要求3所述的系统，其特征在于，

所述存储服务控制器还用于通知存储服务器其所在组中其他存储服务器的信息；

所述存储服务器还用于将本地数据信息同步至本组其他的存储服务器。

5.根据权利要求3所述的系统，其特征在于，所述存储服务控制器还用于接收客户端发送的上传数据请求信息，根据存储服务器的存储状态信息确定存储上传数据的存储服务器，并将确定的存储服务器的相关信息通知所述客户端。

6.根据权利要求2所述的系统，其特征在于，还包括：

客户端，用于根据数据信息的对象标识信息在元数据服务器建立元数据；其中，所述元数据的格式包括文件元数据格式和文件夹元数据格式，所述文件元数据格式包括以下字段：版本号、数据、块列表、安全结构、扩展属性；所述文件夹元数据格式包括以下字段：版本号、数据、文件列表、安全结构、扩展属性。

7.根据权利要求6所述的系统，其特征在于，所述客户端还用于通过元数据服务器获取数据信息的对象标识信息，根据所述对象标识信息确定存储数据的存储服务器，并向确定的存储服务器发送访问请求信息以获得访问的数据信息。

8.根据权利要求7所述的系统，其特征在于，所述客户端在所述确定的存储服务器处不能够获得数据信息的情况下，根据存储服务器组的组标识信息遍历该组内其他的存储服务器，直到获得访问的数据信息。

9.一种数据信息的存储方法，用于存储元数据对应的数据信息，其特征在于，所述方法包括：

设置多个存储服务器组，每个所述存储服务器组包括多个存储服务器；

所述存储服务器接收到待存储的数据信息后，对所述数据信息进行固化存储处理，生成数据信息的对象标识信息并发送至客户端，并将存储后的数据信息同步至本组其他的存储服务器。

10.根据权利要求9所述的方法，其特征在于，所述对象标识信息中包括以下信息之一或其组合：存储服务器组的组标识信息、存储服务器的主机信息、存储服务器本地相对路径信息、校验信息、数据大小信息。

11.根据权利要求10所述的方法，其特征在于，还包括：

预先设置多个存储服务控制器；

所述存储服务器将其本地存储状态信息分别通知每个存储服务控制器。

12.根据权利要求11所述的方法，其特征在于，还包括：

所述存储服务控制器通知存储服务器其所在组中其他存储服务器的信息；

所述存储服务器将本地数据信息同步至本组其他的存储服务器。

13.根据权利要求12所述的方法，其特征在于，所述存储服务控制器在接收到客户端发送的上传数据请求信息后，根据存储服务器的存储状态信息确定存储上传数据的存储服务器，并将确定的存储服务器的相关信息通知所述客户端。

14.根据权利要求10所述的方法，其特征在于，在所述存储服务器将数据信息的对象标识信息发送至客户端的步骤后，所述方法还包括：

所述客户端根据数据信息的对象标识信息在元数据服务器建立元数据；其中，所述元数据的格式包括文件元数据格式和文件夹元数据格式，所述文件元数据格式包括以下字段：版本号、数据、块列表、安全结构、扩展属性；所述文件夹元数据格式包括以下字段：版本号、数据、文件列表、安全结构、扩展属性。

15.根据权利要求14所述的方法，其特征在于，还包括：

所述客户端通过元数据服务器获取数据信息的对象标识信息，根据所述对象标识信息确定存储数据的存储服务器，并向确定的存储服务器发送访问请求信息以获得访问的数据信息。

16.根据权利要求15所述的方法，其特征在于，还包括：

所述客户端在所述确定的存储服务器处不能够获得数据信息的情况下，根据存储服务器组的组标识信息遍历该组内其他的存储服务器，直到获得访问的数据信息。