CN110213337A

CN110213337A - 分布式存储系统及穿透方法

Info

Publication number: CN110213337A
Application number: CN201910385885.4A
Authority: CN
Inventors: 秦江波
Original assignee: Beijing Cat Disk Technology Co Ltd
Current assignee: Beijing Cat Disk Technology Co Ltd
Priority date: 2019-05-09
Filing date: 2019-05-09
Publication date: 2019-09-06
Anticipated expiration: 2039-05-09
Also published as: CN110213337B

Abstract

本申请公开了一种分布式存储系统及穿透方法，其中方法包括：接收所述第一网络存储设备以及第二网络存储设备在进行数据传输前为进行相互穿透探测而分别发送给信令服务器的第一连接请求和第二连接请求；根据所述第一连接请求获取所述第二网络存储设备的第二地址；以及根据所述第二连接请求获取所述第一网络存储设备的第一地址；分别将所述第二地址和第一地址发送至所述第一网络存储设备和第二网络存储设备。达到了通过信令服务器进行辅助穿透的目的，从而实现了有效提高穿透效率的技术效果，进而解决了由于分布式存储的网络结构复杂造成的穿透效率低、节点连通数量少的技术问题。

Description

分布式存储系统及穿透方法

技术领域

本申请涉及分布式存储技术领域，具体而言，涉及一种分布式存储系统、及穿透方法。

背景技术

网络的普及和数字时代的来临，使得信息呈现出爆炸式增长的趋势，全球数据量的级别已经达到ZB级别，但针对企业客户或个人用户的本地存储资源如计算机、移动硬盘、USB闪存、NAS(Network Attached Storage)网络存储设备等均存在资源和访问的局限：

计算机——本地磁盘容量缺乏弹性，固态SSD硬盘兴起后，本地存储资源更加有限，且远程访问计算机存储空间困难；

移动硬盘——携带方便，但使用时需要插拔，磁盘容量缺乏弹性，且不具备移动客户端、TV客户端和远程存储空间访问能力；

USB闪存——携带方便，但使用时需要插拔，闪存容量缺乏弹性，且不具备移动客户端和远程存储空间访问能力；

NAS——具备本地和远程访问能力，但存储容量缺乏弹性，本地存储器损坏时无法确保用户数据安全，远程访问文件传输速率体验较差。

以上局限催生了云存储技术的诞生。

云存储(Cloud Storage)是在云计算(cloud computing)概念上延伸和发展出来的新概念和新兴的网络存储技术，是指通过集群、网络、分布式文件系统等技术，将网络中不同类型的存储设备通过应用软件集合起来协同工作，对外提供数据存储和业务访问功能的系统。云存储使用者可以在任何时间、任何地方，通过任何可连网并安装云存储应用的装置，方便地访问云存储空间和存取数据。云存储根据云的建设地点和服务对象不同，可以分为公有云存储和私有云存储；根据存储内容是否在分散的存储介质或存储介质集群上存储，可以分为集中式存储和分布式存储。

公有云通常指第三方供应商提供用户使用的云，可通过网络使用，使客户能够访问和共享基本的计算机基础设施，其中包括计算、存储和带宽等资源。公有云的存储系统一般可以选择块存储、对象存储和文件系统存储三种类型。客户只需为他们使用的公有云资源支付费用。此外，客户无需担心自己安装和维护的问题。但公有云存在以下缺点：第一、客户出于数据安全性的考虑，一般不愿将重要数据存放在公共云端；第二、在线流量峰值期间可能会发生网络问题和文件访问慢等问题；第三、虽然公共云模型通过提供按需付费的定价方式通常具有成本效益，但在大量数据传输时，其带宽费用会迅速增加；第四、公有云的存储系统如采用文件存储类型，有大量数据需要存储时成本较高，采用对象存储类型成本较低，但文件操作受限。

私有云是为某个客户单独使用而构建的，能够提供对数据、安全性和服务质量有效控制。客户拥有私有云的基础设施，可以控制在此基础设施上部署应用程序的方式。私有云可部署在企业数据中心的防火墙内，也可以将它们部署在一个安全的主机托管场所。相比公有云，私有云可以避免客户的数据安全性顾虑、通常具有文件传输速度优势、大量数据传输时具有成本优势。但私有云存在以下缺点：第一、安装成本很高；第二、配置资源弹性较差；第三、客户从远程位置访问体验较差，如离线和访问速度慢等问题。

集中式存储是指由一个存储介质或多个存储介质组成的中心节点，数据集中存储于这个中心节点中，并且所有业务单元都集中部署在这个中心节点上，所有的功能均由其集中处理。也就是说，集中式存储中，每个终端或客户端仅仅负责数据的录入和输出，而数据的存储与控制处理完全交由中心节点来完成。集中式存储最大的优点是部署结构简单，由于集中式存储往往基于底层性能卓越的大型主机，因此无需考虑如何对存储服务进行多个节点的部署，不用考虑多个存储节点之间的分布式协作问题。但集中式存储存在以下缺点：第一、单节点处理能力存在瓶颈；第二、存在稳定性和可用性问题，一旦中心节点出问题，整个系统将崩溃且无法恢复；第三、扩展性差，单节点只能通过更换或扩展物理介质进行扩展，扩展弹性较差。

分布式存储是指具备分布性、对等性、并发性的存储系统。所谓分布性是指分布式存储中的节点在空间上分布，且分布情况会随时变动；对等性是指分布式存储节点没有主/从之分，既没有控制整个系统的节点，也没有被控制的节点，组成分布式存储系统的所有节点都是对等的；并发性是指同一个分布式存储系统的多个节点可能会并发地操作一些共享的资源如数据库等。分布式存储的优点是不存在集中式存储中心节点的单点故障即系统故障问题、扩展性好等。但分布式存储存在复杂网络环境下NAT穿透困难。

针对相关技术中存在的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种设置了信令服务器的分布式存储系统及穿透方法，以解决相关技术中存在的分布式存储系统穿透效率不高问题。

为了实现上述目的，根据本申请的一个方面，提供了一种分布式存储系统穿透方法。

根据本申请的分布式存储系统穿透方法包括：

接收所述第一网络存储设备以及第二网络存储设备在进行数据传输前为进行相互穿透探测而分别发送的第一连接请求和第二连接请求；

根据所述第一连接请求获取所述第二网络存储设备的第二地址；以及

根据所述第二连接请求获取所述第一网络存储设备的第一地址；

分别将所述第二地址和第一地址发送至所述第一网络存储设备和第二网络存储设备；使所述第一网络存储设备和第二网络存储设备分别通过所述第二地址和第一地址进行相互穿透探测后建立第一连接，并进行数据传输。

进一步的，如前述的分布式存储系统穿透方法，在接收第一连接请求和第二连接请求之前，还包括：确定用于进行文件分块存储的网络存储设备组；其中，所述网络存储设备组包括：第一网络存储设备、第二网络存储设备；且所述确定用于进行文件分块存储的网络存储设备组具体包括：

确定用于对网络存储设备进行评价的评价参数；其中，所述评价参数设有一个或多个；

配置所有所述评价参数的多维度权重；

获取每个所述网络存储设备上报的与各个评价参数对应的实时参数；

根据上报的所述实时参数和所述多维度权重，对每个所述网络存储设备评分；

确定评分分值最高的多个网络存储设备，并构成所述网络存储设备组；

分别建立与所述网络存储设备组中的每个网络存储设备之间的第二连接，并分别发送传输文件分块指令；其中，所述传输文件分块指令用于表征将要向所述网络存储设备组中的所有网络存储设备发送文件分块。

进一步的，如前述的分布式存储系统穿透方法，在进行数据传输之后，还包括：

分别接收所述第一网络存储设备以及第二网络存储设备发送的用于表征文件传输完成的第一完成指令和第二完成指令；

分别根据所述第一完成指令和第二完成指令释放所述第二连接。

进一步的，如前述的分布式存储系统穿透方法，所述第一网络存储设备和第二网络存储设备分别通过所述第二地址和第一地址进行相互穿透探测之前，还包括：

分别获取所述第一网络存储设备和第二网络存储设备的第一网络类型和第二网络类型；

根据所述第一网络类型和第二网络类型得到所述第一网络存储设备对第二网络存储设备进行穿透探测的第一穿透方法以及所述第二网络存储设备对第一网络存储设备进行穿透探测的第二穿透方法；使所述第一网络存储设备和第二网络存储设备分别通过所述第二地址、第一穿透方法、第一地址和第二穿透方法进行相互穿透探测。

进一步的，如前述的分布式存储系统穿透方法，在建立第一连接后，进行的数据传输，包括：

所述第一网络存储设备接收客户端上传的文件数据；

所述第一网络存储设备对所述文件数据进行分块后得到若干文件分块；

所述第一网络存储设备将一个或多个文件分块传输至所述第二网络存储设备。

为了实现上述目的，根据本申请的另一方面，提供了一种分布式存储系统。

根据本申请的分布式存储系统包括：信令服务器；所述信令服务器包括：

连接请求接收单元，用于接收第一网络存储设备以及第二网络存储设备在进行数据传输前为进行相互穿透探测而分别发送的第一连接请求和第二连接请求；

地址获取单元，用于根据所述第一连接请求获取所述第二网络存储设备的第二地址；以及根据所述第二连接请求获取所述第一网络存储设备的第一地址；

地址发送单元，用于分别将所述第二地址和第一地址发送至所述第一网络存储设备和第二网络存储设备；使所述第一网络存储设备和第二网络存储设备分别通过所述第二地址和第一地址进行相互穿透探测后建立第一连接，并进行数据传输。

进一步的，如前述的分布式存储系统，所述信令服务器还包括：网络类型判断单元；所述穿透方法获取单元包括：

网络类型获取模块，用于分别获取所述第一网络存储设备和第二网络存储设备的第一网络类型和第二网络类型；

穿透方法判断模块，用于根据所述第一网络类型和第二网络类型得到所述第一网络存储设备对第二网络存储设备进行穿透探测的第一穿透方法以及所述第二网络存储设备对第一网络存储设备进行穿透探测的第二穿透方法；使所述第一网络存储设备和第二网络存储设备分别通过所述第二地址、第一穿透方法、第一地址和第二穿透方法进行相互穿透探测。

进一步的，如前述的分布式存储系统，还包括：索引服务器；所述索引服务器，用于确定用于进行文件分块存储的网络存储设备组；其中，所述网络存储设备组包括：第一网络存储设备、第二网络存储设备；

所述索引服务器还包括：

评价参数模块，用于确定用于对网络存储设备进行评价的评价参数；其中，所述评价参数设有一个或多个；

权重配置模块，用于配置所有所述评价参数的多维度权重；

参数获取模块，用于获取每个所述网络存储设备上报的与各个评价参数对应的实时参数；

评分模块，用于根据上报的所述所述参数和所述多维度权重，对每个所述网络存储设备评分；

选择模块，用于确定评分分值最高的多个网络存储设备，并构成所述网络存储设备组；

连接模块，用于分别建立与所述网络存储设备组中的每个网络存储设备之间的第二连接，并分别发送传输文件分块指令；其中，所述传输文件分块指令用于表征将要向所述网络存储设备组中的所有网络存储设备发送文件分块。

进一步的，如前述的分布式存储系统，所述索引服务器还包括：连接释放单元；所述连接施放单元包括：

传输完成指令接收模块，用于分别接收所述第一网络存储设备以及第二网络存储设备发送的用于表征文件传输完成的第一完成指令和第二完成指令；

连接施放模块，用于分别根据所述第一完成指令和第二完成指令释放所述第二连接。

进一步的，如前述的分布式存储系统，所述第一网络存储模块包括：

数据接收单元，用于使所述第一网络存储设备接收客户端上传的文件数据；

文件分块单元，用于使所述第一网络存储设备对所述文件数据进行分块后得到若干文件分块；

数据传输单元，用于使所述第一网络存储设备将一个或多个文件分块传输至所述第二网络存储设备。

在本申请实施例中，采用提供一种分布式存储系统及穿透方法的方式，其中方法包括：接收所述第一网络存储设备以及第二网络存储设备在进行数据传输前为进行相互穿透探测而分别发送给信令服务器的第一连接请求和第二连接请求；根据所述第一连接请求获取所述第二网络存储设备的第二地址；以及根据所述第二连接请求获取所述第一网络存储设备的第一地址；分别将所述第二地址和第一地址发送至所述第一网络存储设备和第二网络存储设备；使所述第一网络存储设备和第二网络存储设备分别通过所述第二地址和第一地址进行相互穿透探测后建立第一连接，并进行数据传输。达到了通过信令服务器进行辅助穿透的目的，从而实现了能够有效提高穿透效率的技术效果，进而解决了由于分布式存储的网络结构复杂造成的穿透效率低、节点连通数量少的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请一种实施例的穿透方法流程示意图；

图2是根据本申请一种实施例的信令服务器的功能模块结构示意图；以及

图3是根据本申请一种实施例的分布式存储系统的穿透步骤示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本申请的一个实施例，提供了一种分布式存储系统穿透方法。如图1所示，该方法包括如下的步骤S1至步骤S4：

S1.接收所述第一网络存储设备以及第二网络存储设备在进行数据传输前为进行相互穿透探测而分别发送的第一连接请求和第二连接请求；

具体的，本方法实施例中的执行主体为信令服务器，且所述信令服务器中记录有不同网络存储设备的节点号、IP地址和端口号等用于表征所述网络存储设备唯一地址的信息；

S2.根据所述第一连接请求获取所述第二网络存储设备的第二地址；以及

S3.根据所述第二连接请求获取所述第一网络存储设备的第一地址；

S4.分别将所述第二地址和第一地址发送至所述第一网络存储设备和第二网络存储设备；使所述第一网络存储设备和第二网络存储设备分别通过所述第二地址和第一地址进行相互穿透探测后建立第一连接，并进行数据传输。

也就是说，通过信令服务器能够快速建立起任意两个网络存储设备之间的通信通道，并且未设置信令服务器的分布式存储系统中不同节点间的连通率为50％；而采用本方法进行连接及穿透的成功率能够达到80％；因此，连通率的提高还是极为可观的。

在一些实施例中，如前述的分布式存储系统穿透方法，在接收第一连接请求和第二连接请求之前，还包括：确定用于进行文件分块存储的网络存储设备组；其中，所述网络存储设备组包括：第一网络存储设备、第二网络存储设备；且所述确定用于进行文件分块存储的网络存储设备组具体包括：

确定用于对网络存储设备进行评价的评价参数；其中，所述评价参数设有一个或多个；优选的，所述评价参数包括：节点公平性、冗余性、可靠性和性能参数；

配置所有所述评价参数的多维度权重；

也就是说每个所述网络存储设备都有多个评价的所述评价参数，且最终的评价结果还需结合各个预测参数的权重(即所述多维度权重)；此外，各个网络存储设备的所述评价参数个数、种类和多维度权重都一致，因而能够保证最终评价的公平性；

也就是说，获取最终分值排在前N个的所述网络存储设备构成所述网络存储设备组；

具体的，此处为建立索引服务器与各个网络存储设备组中的每个网络存储设备之间的连接关系；

本实施例中的方法能够通过兼顾分布式存储节点公平性、冗余性、可靠性和性能参数等多维参数的分块分发策略，提高了整个分布式存储系统的可靠性。分布式存储集群中如果每个网络存储设备的能力都得到尽可能利用，则称网络存储设备节点的公平性得到保证；冗余性指单个文件的分块尽可能不存储在同一个网络存储设备节点上，而存储在不同的网络存储设备节点上；可靠性指考虑分布式存储系统规模、单节点数据规模等因素对分布式存储系统可靠性的影响，通过利用Markov模型可以建立可靠性分析模型对分布式存储系统文件分块和分布方案进行分析，获得多个参数对分布式存储系统可靠性影响的定量估计，热数据优先存储在可靠性高的网络存储设备中；性能参数指网络存储设备的CPU、内存大小、硬盘大小、硬盘类型、上行带宽、下行带宽等性能。具体的，索引服务器初始化后，通过设定公平性、冗余性、可靠性和性能参数的多维度权重(表示哪类参数更重要)；网络存储设备上报公平性(存储空间大小和冗余文件分块占用空间大小参数)、冗余性(文件分块的存储冗余情况)、可靠性(节点数据规模、节点在线情况)、性能(CPU型号、内存大小、硬盘大小、硬盘类型、上行带宽、下行带宽等)等参数至索引服务器；索引服务器根据以上参数和权重为各网络存储设备评分；文件分块优先分发至分值高的网络存储设备。

在一些实施例中，如前述的分布式存储系统穿透方法，在进行数据传输之后，还包括：

也就是说，当文件分块在所述分布式存储系统中传输及存储完毕之后，所述第一网络存储设备以及第二网络存储设备则会生成用于表征文件传输完成的第一完成指令和第二完成指令，并将其发送至索引服务器；

分别根据所述第一完成指令和第二完成指令释放所述第二连接；

优选的，所述第一网络存储设备以及第二网络存储设备之间的连接也会进行释放，以降低对系统连接通道的占用。

在一些实施例中，如前述的分布式存储系统穿透方法，所述第一网络存储设备和第二网络存储设备分别通过所述第二地址和第一地址进行相互穿透探测之前，还包括：

也就是说，通过信令服务器能够协调不同的所述网络存储设备之间的网络类型，是整个分布式存储系统中的各个网络存储涉笔之间可以互相交换各自的状态信息和提出对其它设备的接续要求，从而使网络作为一个整体运行。

在一些实施例中，如前述的分布式存储系统穿透方法，在建立第一连接后，进行的数据传输，包括：

所述第一网络存储设备接收客户端上传的文件数据；

也就是说，可以直接通过所述第一网络存储设备对文件数据进行转发，相对于现有技术中的通过服务器进行转发，具有速度快，同时能够避免因外网带宽有限，且大量数据传输时，其带宽费用会迅速增加的问题。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本发明实施例，还提供了一种用于实施上述分布式存储系统穿透方法的分布式存储系统。如图2所示，该装置包括：

根据本申请的分布式存储系统包括：信令服务器4；所述信令服务器4包括：

连接请求接收单元41，用于接收第一网络存储设备以及第二网络存储设备在进行数据传输前为进行相互穿透探测而分别发送的第一连接请求和第二连接请求；

地址获取单元42，用于根据所述第一连接请求获取所述第二网络存储设备的第二地址；以及根据所述第二连接请求获取所述第一网络存储设备的第一地址；

地址发送单元43，用于分别将所述第二地址和第一地址发送至所述第一网络存储设备和第二网络存储设备；使所述第一网络存储设备和第二网络存储设备分别通过所述第二地址和第一地址进行相互穿透探测后建立第一连接，并进行数据传输。

具体的，本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

在一些实施例中，如前述的分布式存储系统，所述信令服务器还包括：网络类型判断单元；所述穿透方法获取单元包括：

网络类型获取模块，用于分别获取所述第一网络存储设备2和第二网络存储设备3的第一网络类型和第二网络类型；

如图3所示，在一些实施例中，如前述的分布式存储系统，还包括：索引服务器4；所述索引服务器4，用于确定用于进行文件分块存储的网络存储设备组；其中，所述网络存储设备组包括：第一网络存储设备、第二网络存储设备；

所述索引服务器4还包括：

权重配置模块，用于配置所有所述评价参数的多维度权重；

在一些实施例中，如前述的分布式存储系统，所述索引服务器还包括：连接释放单元；所述连接施放单元包括：

在一些实施例中，如前述的分布式存储系统，所述第一网络存储模块包括：

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种分布式存储系统穿透方法，其特征在于，包括：

接收第一网络存储设备以及第二网络存储设备在进行数据传输前为进行相互穿透探测而分别发送的第一连接请求和第二连接请求；

2.根据权利要求1所述的分布式存储系统穿透方法，其特征在于，在接收第一连接请求和第二连接请求之前，还包括：确定用于进行文件分块存储的网络存储设备组；其中，所述网络存储设备组包括：第一网络存储设备、第二网络存储设备；且所述确定用于进行文件分块存储的网络存储设备组具体包括：

配置所有所述评价参数的多维度权重；

3.根据权利要求2所述的分布式存储系统穿透方法，其特征在于，在进行数据传输之后，还包括：

4.根据权利要求1所述的分布式存储系统穿透方法，其特征在于，所述第一网络存储设备和第二网络存储设备分别通过所述第二地址和第一地址进行相互穿透探测之前，还包括：

5.根据权利要求1所述的分布式存储系统穿透方法，其特征在于，在建立第一连接后，进行的数据传输，包括：

所述第一网络存储设备接收客户端上传的文件数据；

6.一种分布式存储系统，其特征在于，包括：信令服务器；所述信令服务器包括：

7.根据权利要求6所述的分布式存储系统，其特征在于，还包括：索引服务器；所述索引服务器，用于确定用于进行文件分块存储的网络存储设备组；其中，所述网络存储设备组包括：第一网络存储设备、第二网络存储设备；

所述索引服务器还包括：

权重配置模块，用于配置所有所述评价参数的多维度权重；

8.根据权利要求7所述的分布式存储系统，其特征在于，所述索引服务器还包括：连接释放单元；所述连接施放单元包括：

9.根据权利要求6所述的分布式存储系统，其特征在于，所述信令服务器还包括：网络类型判断单元；所述穿透方法获取单元包括：

10.根据权利要求6所述的分布式存储系统，其特征在于，所述第一网络存储模块包括：