CN107343037A - 一种分布式存储系统的数据传输方法及装置 - Google Patents

Abstract

本发明实施例公开了一种分布式存储系统的数据传输方法及装置，预先根据网络设备的带宽上限计算节点间建立连接的个数，在分布式存储系统的各个节点间建立所述个数个连接，并为每个连接创建数据请求的发送队列及响应队列；根据发送端数据请求中文件或对象的ID值，采用轮询方式将各文件或对象放入不同连接的发送队列，以进行并发发送，并记录文件或对象与各自连接的对应信息；当接收端按照业务逻辑对数据请求进行处理后，将数据请求中的各个文件或对象的响应信息，根据对应信息放入各自连接的响应队列，以并发反馈给发送端。充分有效的利用了高速网络带宽资源，提升了业务吞吐量，降低了请求处理时延，提升了分布式存储系统整体性能。

Description

一种分布式存储系统的数据传输方法及装置

技术领域

本发明实施例涉及分布式存储技术领域，特别是涉及一种分布式存储系统的数据传输方法及装置。

背景技术

随着互联网络技术的快速发展，在分布式存储系统常用的IB网络(Infiniband，高速互联网络)及40G的以太网中，由于现有的分布式存储系统间的节点往往采用单连接机制，数据传输在单连接机制下占用的网络带宽较少，不能完全充分利用的高效网络资源。

而越来越多的高性能场景需要在高速网络下提升系统性能，存储系统的数据传输就成为瓶颈。

鉴于此，如何充分利用高速网络资源，以提升系统性能，是本领域技术人员亟待解决的问题。

发明内容

本发明实施例的目的是提供一种分布式存储系统的数据传输方法及装置，充分有效的利用了高速网络带宽资源，有利于提升分布式存储系统的可靠性。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种分布式存储系统的数据传输方法，包括：

预先根据网络设备的带宽上限计算节点间建立连接的个数，在分布式存储系统的各个节点间建立所述个数个连接，并为每个所述连接创建数据请求的发送队列及响应队列；

根据发送端数据请求中文件或对象的ID值，采用轮询方式将各所述文件或对象放入不同连接的发送队列，以进行并发发送，并记录所述文件或对象与各自连接的对应信息；

当接收端按照业务逻辑，对所述发送端发送的数据请求进行处理后，将所述数据请求中的各个文件或对象的响应信息，根据所述对应信息放入各自连接的响应队列，以并发反馈给所述发送端。

可选的，所述预先根据网络设备的带宽上限计算节点间建立连接的个数包括：

读取所述分布式存储系统的网络配置参数，根据所述网络配置参数获取网络设备的带宽上限；

根据所述网络设备的带宽上限及每个连接的预设带宽，计算所述分布式存储系统各个所述节点间建立连接的个数。

可选的，在所述将所述数据请求中的各个文件或对象的响应信息，根据所述对应信息放入各自连接的响应队列之后，还包括：

根据所述响应队列中的文件或对象对应的ID值，判断所述响应队列对应的连接是否为所述文件或对象发送队列对应的连接；

当判定所述响应队列对应的连接不为所述文件或对象发送队列对应的连接时，根据所述文件或对象发送队列对应的连接确定相应的目标响应队列，并将所述文件或对象的响应信息放入所述目标响应队列。

可选的，在所述当判定所述响应队列对应的连接不为所述文件或对象发送队列对应的连接时之后，还包括：

向用户进行报警提示。

本发明实施例另一方面提供了一种分布式存储系统的数据传输装置，包括：

多连接创建模块，用于预先根据网络设备的带宽上限计算节点间建立连接的个数，在分布式存储系统的各个节点间建立所述个数个连接，并为每个所述连接创建数据请求的发送队列及响应队列；

并发数据请求发送模块，用于根据发送端数据请求中文件或对象的ID值，采用轮询方式将各所述文件或对象放入不同连接的发送队列，以进行并发发送，并记录所述文件或对象与各自连接的对应信息；

并发响应数据请求模块，用于当接收端按照业务逻辑，对所述发送端发送的数据请求进行处理后，将所述数据请求中的各个文件或对象的响应信息，根据所述对应信息放入各自连接的响应队列，以并发反馈给所述发送端。

可选的，所述多连接创建模块包括：

读取信息单元，用于读取所述分布式存储系统的网络配置参数，根据所述网络配置参数获取网络设备的带宽上限；

计算单元，用于根据所述网络设备的带宽上限及每个连接的预设带宽，计算所述分布式存储系统各个所述节点间建立连接的个数。

可选的，还包括连接检测模块，所述连接检测模块包括：

判断单元，用于根据所述响应队列中的文件或对象对应的ID值，判断所述响应队列对应的连接是否为所述文件或对象发送队列对应的连接；

调整单元，用于当判定所述响应队列对应的连接不为所述文件或对象发送队列对应的连接时，根据所述文件或对象发送队列对应的连接确定相应的目标响应队列，并将所述文件或对象的响应信息放入所述目标响应队列。

可选的，还包括：

报警提示模块，用于向用户提示所述数据请求的响应队列有误。

本发明实施例提供了一种分布式存储系统的数据传输方法，预先根据网络设备的带宽上限计算节点间建立连接的个数，在分布式存储系统的各个节点间建立所述个数个连接，并为每个连接创建数据请求的发送队列及响应队列；根据发送端数据请求中文件或对象的ID值，采用轮询方式将各文件或对象放入不同连接的发送队列，以进行并发发送，并记录文件或对象与各自连接的对应信息；当接收端按照业务逻辑对数据请求进行处理后，将数据请求中的各个文件或对象的响应信息，根据对应信息放入各自连接的响应队列，以并发反馈给发送端。

本申请提供的技术方案的优点在于，通过在分布式存储系统中各个存储节点间建立多个连接，使的数据请求与响应可在节点之间的高速互联网络中并发发送及处理，高效的利用了高速网络带宽，提升了业务吞吐量，降低了请求处理时延，使得分布式存储系统性能显著提升，以满足高性能场景、超高清场景的性能需求。此外，按照文件或对象粒度均衡分布在多连接上，既实现了负载均衡，也保证了文件对象粒度的业务连续性；当其中一个连接异常时，业务可以切换到其他正常的连接上继续运行，提高了整个系统网络的可靠性，从而有利于提升分布式存储系统的可靠性与稳定性。

此外，本发明实施例还针对分布式存储系统的数据传输方法提供了相应的实现装置，进一步使得所述方法更具有实用性，所述装置具有相应的优点。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种分布式存储系统的数据传输方法的流程示意图；

图2为本发明实施例提供的另一种分布式存储系统的数据传输方法的流程示意图；

图3为本发明实施例提供的分布式存储系统的数据传输装置的一种具体实施方式结构图；

图4为本发明实施例提供的分布式存储系统的数据传输装置的另一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种分布式存储系统的数据传输方法的流程示意图，本发明实施例可包括以下内容：

S101：预先根据网络设备的带宽上限计算节点间建立连接的个数，在分布式存储系统的各个节点间建立所述个数个连接，并为每个所述连接创建数据请求的发送队列及响应队列。

节点间的连接可为分布式存储系统的客户端与服务器间的连接，服务器与服务器之间的连接。现有的分布式存储系统的网络通信层节点间为单连接机制，即一个节点与一个节点仅有一个连接，无法充分利用高速网络的带宽资源，故可在节点间建立多个TCP通信连接，每两个节点间可创建的连接个数可根据下述方式进行确定：

读取所述分布式存储系统的网络配置参数，根据所述网络配置参数获取网络设备的带宽上限；

根据所述网络设备的带宽上限及每个连接的预设带宽，计算所述分布式存储系统各个所述节点间建立连接的个数。

可用带宽上限与预设带宽的商作为建立连接的个数，当商不为整数时，取整数为建立连接的个数，例如二者商为5.7，那么可建立连接的个数为5。

经过多次试验证实，预设带宽可为500M，既可快速将连接上的数据进行发送，又可充分利用带宽资源，当然，也可设置为其他数值，本领域技术人员可根据实际情况进行确定，本申请对此不作任何限定。

举例来说，当前分布式存储系统使用的IB网络的带宽上限为40Gb，每个连接的带宽为500M，那么可建立连接的个数为8个。

发送队列用于存放发送端待发送的数据请求的各个对象或文件。

响应队列用于存放接收端对数据请求的响应信息。

S102：根据发送端数据请求中文件或对象的ID值，采用轮询方式将各所述文件或对象放入不同连接的发送队列，以进行并发发送，并记录所述文件或对象与各自连接的对应信息。

在分布式存储系统的网络通信层的节点间建立多个通信连接后，可将分布式存储系统的数据处理模块中的业务与多个连接进行对应，即按照文件或对象的维度，使同一文件或对象在同一个连接上，不同的文件、对象均衡在不同连接上并发传输，这样对发送、接收、处理数据都能分离清楚，互不干扰；高效的利用了高速网络带宽，并发多连接传输请求数据，提升了请求并发传输速度，从而有效提升了带宽，保证了业务的高性能体现。

同一个数据请求在发送过程会被分为多个包，即包含多个文件或对象，相同的文件或对象具有相同的标识信息，即ID值，可将相同的文件或相同的对象放在一条连接上进行发送，以方便接收端接收数据后便于处理，在将数据请求中的对象或文件进行分配到多个连接时，可采用轮询方式进行。

数据请求中的文件或对象确定了待发送的连接后，将其放入连接对应的请求队列中，发送端将请求队列中的数据请求进行发送。

S103：当接收端按照业务逻辑，对所述发送端发送的数据请求进行处理后，将所述数据请求中的各个文件或对象的响应信息，根据所述对应信息放入各自连接的响应队列，以并发反馈给所述发送端。

请求发送端基于多连接来发送请求，把传输的数据按照文件或者对象粒度均衡分配到不同连接上，使业务能在不同连接上负载均衡，并且能并发发送请求。最后，请求接收端，按照多连接来接收请求，并且原有业务逻辑将这些数据请求处理完成后，返回的响应信息也按照发送来的连接返回，防止发送端对应不到处理模块，造成请求丢失。

举例来说，对于ID为5的对象，发送该对象的连接为第二条连接，那么接收端反馈该对象的响应信息也将放入第二条连接的响应队列中，用第二条连接反馈给发送端。

发送端接收所述接收端的并发反馈的响应信息，按照原有业务逻辑进行处理。

需要说明的是，多连接异常场景中，如果节点之间有一个连接异常，业务可感知异常的连接，然后切换到正常的连接继续处理，有利于提升分布式存储系统的可靠性与稳定性。

在本发明实施例提供的技术方案中，通过在分布式存储系统中各个存储节点间建立多个连接，使的数据请求与响应可在节点之间的高速互联网络中并发发送及处理，高效的利用了高速网络带宽，提升了业务吞吐量，降低了请求处理时延，使得分布式存储系统性能显著提升，以满足高性能场景、超高清场景的性能需求。此外，按照文件或对象粒度均衡分布在多连接上，既实现了负载均衡，也保证了文件对象粒度的业务连续性；当其中一个连接异常时，业务可以切换到其他正常的连接上继续运行，提高了整个系统网络的可靠性，从而有利于提升分布式存储系统的可靠性与稳定性。

当响应的连接与发送的连接可能不为同一条时，这样会导致发送端无法成功接收到接收端反馈的响应信息，鉴于此，基于上述实施例，本申请还提供了另外一个实施例，应用于分布式存储系统，请参阅图2所示，具体可包括：

S104：根据所述响应队列中的文件或对象对应的ID值，判断所述响应队列对应的连接是否为所述文件或对象发送队列对应的连接。

S105：当判定所述响应队列对应的连接不为所述文件或对象发送队列对应的连接时，根据所述文件或对象发送队列对应的连接确定相应的目标响应队列，并将所述文件或对象的响应信息放入所述目标响应队列。

举例来说，对于ID为5的对象，发送该对象的连接为第二条连接，而接收端反馈该对象的响应信息放入第四条连接的响应队列中。为了避免防止发送端对应不到处理模块，造成请求丢失现象发生，可将ID为5的对象的响应信息从第四条连接的响应队列中提取处理，放入第二条连接的响应队列中。

及时检测各个对象或文件的响应信息是否准确放入发送连接对应的响应队列中，保证接收端反馈的响应信息按照原有的连接进行发送，确保数据请求不会丢失，有利于提升分布式存储系统的额可靠性。

本发明实施例还针对分布式存储系统的数据传输方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的分布式存储系统的数据传输装置进行介绍，下文描述的分布式存储系统的数据传输装置与上文描述的分布式存储系统的数据传输方法可相互对应参照。

请参见图3，图3为本发明实施例提供的分布式存储系统的数据传输装置在一种具体实施方式下的结构图，该装置可包括：

多连接创建模块301，用于预先根据网络设备的带宽上限计算节点间建立连接的个数，在分布式存储系统的各个节点间建立所述个数个连接，并为每个所述连接创建数据请求的发送队列及响应队列。

并发数据请求发送模块302，用于根据发送端数据请求中文件或对象的ID值，采用轮询方式将各所述文件或对象放入不同连接的发送队列，以进行并发发送，并记录所述文件或对象与各自连接的对应信息。

并发响应数据请求模块303，用于当接收端按照业务逻辑，对所述发送端发送的数据请求进行处理后，将所述数据请求中的各个文件或对象的响应信息，根据所述对应信息放入各自连接的响应队列，以并发反馈给所述发送端。

可选的，在本申请的一些实施方式中，请参阅图4，所述装置例如可以包括连接检测模块304，所述连接检测模块304可包括：

判断单元3041，用于根据所述响应队列中的文件或对象对应的ID值，判断所述响应队列对应的连接是否为所述文件或对象发送队列对应的连接；

调整单元3042，用于当判定所述响应队列对应的连接不为所述文件或对象发送队列对应的连接时，根据所述文件或对象发送队列对应的连接确定相应的目标响应队列，并将所述文件或对象的响应信息放入所述目标响应队列。

可选的，在本申请的另外一些实施方式中，请参阅图4，所述装置例如还可以包括报警提示模块305，用于向用户提示所述数据请求的响应队列有误。

在上述实施例中一些具体的实施方式中，所述多连接创建模块301可包括：

读取信息单元3011，用于读取所述分布式存储系统的网络配置参数，根据所述网络配置参数获取网络设备的带宽上限；

计算单元3012，用于根据所述网络设备的带宽上限及每个连接的预设带宽，计算所述分布式存储系统各个所述节点间建立连接的个数。

本发明实施例所述的分布式存储系统的数据传输装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例通过在分布式存储系统中各个存储节点间建立多个连接，使的数据请求与响应可在节点之间的高速互联网络中并发发送及处理，高效的利用了高速网络带宽，提升了业务吞吐量，降低了请求处理时延，使得分布式存储系统性能显著提升，以满足高性能场景、超高清场景的性能需求。此外，按照文件或对象粒度均衡分布在多连接上，既实现了负载均衡，也保证了文件对象粒度的业务连续性；当其中一个连接异常时，业务可以切换到其他正常的连接上继续运行，提高了整个系统网络的可靠性，从而有利于提升分布式存储系统的可靠性与稳定性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种分布式存储系统的数据传输方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种分布式存储系统的数据传输方法，其特征在于，包括：

预先根据网络设备的带宽上限计算节点间建立连接的个数，在分布式存储系统的各个节点间建立所述个数个连接，并为每个所述连接创建数据请求的发送队列及响应队列；

根据发送端数据请求中文件或对象的ID值，采用轮询方式将各所述文件或对象放入不同连接的发送队列，以进行并发发送，并记录所述文件或对象与各自连接的对应信息；

当接收端按照业务逻辑，对所述发送端发送的数据请求进行处理后，将所述数据请求中的各个文件或对象的响应信息，根据所述对应信息放入各自连接的响应队列，以并发反馈给所述发送端。

2.根据权利要求1所述的分布式存储系统的数据传输方法，其特征在于，所述预先根据网络设备的带宽上限计算节点间建立连接的个数包括：

读取所述分布式存储系统的网络配置参数，根据所述网络配置参数获取网络设备的带宽上限；

根据所述网络设备的带宽上限及每个连接的预设带宽，计算所述分布式存储系统各个所述节点间建立连接的个数。

3.根据权利要求1或2任意一项所述的分布式存储系统的数据传输方法，其特征在于，在所述将所述数据请求中的各个文件或对象的响应信息，根据所述对应信息放入各自连接的响应队列之后，还包括：

根据所述响应队列中的文件或对象对应的ID值，判断所述响应队列对应的连接是否为所述文件或对象发送队列对应的连接；

当判定所述响应队列对应的连接不为所述文件或对象发送队列对应的连接时，根据所述文件或对象发送队列对应的连接确定相应的目标响应队列，并将所述文件或对象的响应信息放入所述目标响应队列。

4.根据权利要求3所述的分布式存储系统的数据传输方法，其特征在于，在所述当判定所述响应队列对应的连接不为所述文件或对象发送队列对应的连接时之后，还包括：

向用户进行报警提示。

5.一种分布式存储系统的数据传输装置，其特征在于，包括：

多连接创建模块，用于预先根据网络设备的带宽上限计算节点间建立连接的个数，在分布式存储系统的各个节点间建立所述个数个连接，并为每个所述连接创建数据请求的发送队列及响应队列；

并发数据请求发送模块，用于根据发送端数据请求中文件或对象的ID值，采用轮询方式将各所述文件或对象放入不同连接的发送队列，以进行并发发送，并记录所述文件或对象与各自连接的对应信息；

并发响应数据请求模块，用于当接收端按照业务逻辑，对所述发送端发送的数据请求进行处理后，将所述数据请求中的各个文件或对象的响应信息，根据所述对应信息放入各自连接的响应队列，以并发反馈给所述发送端。

6.根据权利要求5所述的分布式存储系统的数据传输装置，其特征在于，所述多连接创建模块包括：

读取信息单元，用于读取所述分布式存储系统的网络配置参数，根据所述网络配置参数获取网络设备的带宽上限；

计算单元，用于根据所述网络设备的带宽上限及每个连接的预设带宽，计算所述分布式存储系统各个所述节点间建立连接的个数。

7.根据权利要求6所述的分布式存储系统的数据传输装置，其特征在于，还包括连接检测模块，所述连接检测模块包括：

判断单元，用于根据所述响应队列中的文件或对象对应的ID值，判断所述响应队列对应的连接是否为所述文件或对象发送队列对应的连接；

调整单元，用于当判定所述响应队列对应的连接不为所述文件或对象发送队列对应的连接时，根据所述文件或对象发送队列对应的连接确定相应的目标响应队列，并将所述文件或对象的响应信息放入所述目标响应队列。

8.根据权利要求7所述的分布式存储系统的数据传输装置，其特征在于，还包括：

报警提示模块，用于向用户提示所述数据请求的响应队列有误。