CN107608632B - 一种分布式存储集群的通信方法、装置及系统 - Google Patents

Abstract

本发明实施例公开了一种分布式存储集群的通信方法、装置及系统，包括位于第一节点内部的第一虚拟网络层依据第一节点内部的源OSD发送的连接请求判断目标OSD与源OSD是否位于同一节点内，若是，则第一虚拟网络层接收源OSD发送的业务信息，并将业务信息写入至目标OSD对应的消息分发器中，否则，第一虚拟网络层将源OSD的ID号和目标OSD的ID号作为第一消息头部添加至源OSD发送的业务信息中得到相应的数据信息，并将数据信息通过节点之间的共享TCP连接发送至与目标OSD对应的第二节点中，以便位于第二节点中的第二虚拟网络层接收到数据信息后将数据信息发送至目标OSD中。降低了物理连接的数量和系统资源的消耗，提高了系统性能。

Description

一种分布式存储集群的通信方法、装置及系统

技术领域

本发明实施例涉及分布式存储技术领域，特别是涉及一种分布式存储集群的通信方法、装置及系统。

背景技术

在海量分布式存储系统中，一个存储节点服务器上一般配置有大量硬盘，例如36块，每个硬盘对应一个守护进程OSD(Object Storage Daemon，对象存储守护进程)，该守护进程OSD用来处理对这块硬盘的所有读写请求。作为一个协调工作的集群系统，各个OSD之间进行通信时，是通过OSD之间的物理连接TCP实现的，如图1所示，图1为现有技术提供的一种分布式存储集群中OSD之间的TCP连接示意图，不论是节点内部的两个OSD之间，还是节点之间的两个OSD之间，对于整个分布式存储集群来说，其内部的每两个 OSD之间一般至少有2对TCP连接，当节点数量较多时，节点之间的各个OSD 在进行通信时，也是通过每两个OSD之间的TCP连接实现的，所以节点越多，每个OSD产生的TCP连接数量就越多，所消耗的系统资源就越高，从而造成系统资源的浪费，使系统性能降低。

因此，如何提供一种解决上述技术问题的分布式存储集群的通信方法、装置及系统成为本领域的技术人员目前需要解决的问题。

发明内容

本发明实施例的目的是提供一种分布式存储集群的通信方法、装置及系统，在使用过程中大大减少了整个分布式存储集群中物理连接TCP的数量，从而降低了系统资源的消耗，提高了系统性能。

为解决上述技术问题，本发明实施例提供了一种分布式存储集群的通信方法，包括：

S11：位于第一节点内部的第一虚拟网络层依据所述第一节点内部的源 OSD发送的连接请求判断目标OSD与所述源OSD是否位于同一节点内，如果是，进入S12，否则，进入S13；所述连接请求包括目标OSD的IP地址和目标OSD的ID号；

S12：所述第一虚拟网络层接收所述源OSD发送的业务信息，并将所述业务信息写入至所述目标OSD对应的消息分发器中；

S13：所述第一虚拟网络层将所述源OSD的ID号和所述目标OSD的ID 号作为第一消息头部添加至所述源OSD发送的业务信息中得到相应的数据信息，并将所述数据信息通过节点之间的共享TCP连接发送至与所述目标OSD 对应的第二节点中，以便位于所述第二节点中的第二虚拟网络层接收到所述数据信息后将所述数据信息发送至所述目标OSD中。

可选的，所述第一虚拟网络层接收所述源OSD发送的业务信息的过程为：

所述第一虚拟网络层接收所述源OSD通过虚拟连接发送的业务信息，所述虚拟连接为所述第一虚拟网络层依据所述目标OSD的IP地址和目标OSD 的ID号创建。

可选的，所述方法还包括：

所述第一虚拟网络层接收所述第二虚拟网络层返回的响应信息，所述响应信息为所述第二虚拟网络层在接收所述目标OSD返回的回调信息后，将所述源OSD的ID号作为第二消息头部添加至所述回调信息中生成的。

本发明实施例相应的提供了一种分布式存储集群的通信装置，包括：

判断模块，用于依据第一节点内部的源OSD发送的连接请求判断目标 OSD与所述源OSD是否位于同一节点内，如果是，则触发写入模块；否则，触发添加模块；所述连接请求包括目标OSD的IP地址和目标OSD的ID号；

所述写入模块，用于接收所述源OSD发送的业务信息，并将所述业务信息写入至所述目标OSD对应的消息分发器中；

所述添加模块，用于将所述源OSD的ID号和所述目标OSD的ID号作为第一消息头部添加至所述源OSD发送的业务信息中得到相应的数据信息；

发送模块，用于将所述数据信息通过节点之间的共享TCP连接发送至与所述目标OSD对应的第二节点中，以便位于所述第二节点中的第二虚拟网络层接收到所述数据信息后将所述数据信息发送至所述目标OSD中。

可选的，所述写入模块包括：

建立单元，用于依据所述目标OSD的IP地址和目标OSD的ID号创建虚拟连接；

接收单元，用于接收所述源OSD通过虚拟连接发送的业务信息；

写入单元，用于将所述业务信息写入至所述目标OSD对应的消息分发器中。

可选的，所述装置还包括：

响应模块，用于接收所述第二虚拟网络层返回的响应信息，所述响应信息为所述第二虚拟网络层在接收所述目标OSD返回的回调信息后，将所述源 OSD的ID号作为第二消息头部添加至所述回调信息中生成的。

本发明实施例还提供了一种分布式存储集群的通信系统，包括如上述所述的分布式存储集群的通信装置。

本发明实施例提供了一种分布式存储集群的通信方法、装置及系统，包括位于第一节点内部的第一虚拟网络层依据第一节点内部的源OSD发送的连接请求中的目标OSD的IP地址和目标OSD的ID号判断目标OSD与源OSD是否位于同一节点内，如果是，则第一虚拟网络层接收源OSD发送的业务信息，并将业务信息写入至目标OSD对应的消息分发器中，否则，第一虚拟网络层将源OSD的ID号和目标OSD的ID号作为第一消息头部添加至源OSD发送的业务信息中得到相应的数据信息，并将数据信息通过节点之间的共享TCP 连接发送至与目标OSD对应的第二节点中，以便位于第二节点中的第二虚拟网络层接收到数据信息后将数据信息发送至目标OSD中。

本发明实施例中节点与节点之间共享TCP连接，也即每两个节点之间只需要一条TCP连接，每个节点内部均包括多个OSD和一个虚拟网络层，当两个节点之间的OSD进行通信时，可以通过第一虚拟网络层对源OSD发送的业务信息进行转发，并由目标OSD所在的第二节点中的第二虚拟网络层接收第一虚拟网络层通过共享TCP连接发送的包括业务信息的数据信息，并通过读取数据信息中的消息头部确定目标OSD，再由第二虚拟网络层将相应的业务信息发送至目标OSD中，从而实现两个节点之间的通信，节点之间通过共享 TCP连接，使整个分布式存储集群中的物理连接TCP的数量大大减少，从而降低了系统资源的消耗，提高了系统性能。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术提供的一种分布式存储集群中OSD之间的TCP连接示意图；

图2为本发明实施例提供的一种分布式存储集群的通信方法的流程示意图；

图3为本发明实施例提供的一种分布式存储集群中OSD之间的TCP连接示意图；

图4为本发明实施例提供的一种分布式存储集群的通信装置的结构示意图。

具体实施方式

本发明实施例提供了一种分布式存储集群的通信方法、装置及系统，在使用过程中大大减少了整个分布式存储集群中物理连接TCP的数量，从而降低了系统资源的消耗，提高了系统性能。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图2和图3，图2为本发明实施例提供的一种分布式存储集群的通信方法的流程示意图；图3为本发明实施例提供的一种分布式存储集群中OSD 之间的TCP连接示意图。

该方法包括：

S11：位于第一节点内部的第一虚拟网络层依据第一节点内部的源OSD发送的连接请求判断目标OSD与源OSD是否位于同一节点内，如果是，进入 S12，否则，进入S13；连接请求包括目标OSD的IP地址和目标OSD的ID 号；

需要说明的是，每个节点中均预先建立一个虚拟网络层，该虚拟网络层可以用来进行虚拟连接的建立和消息的转发，并且节点内部的各个OSD守护线程和虚拟网络层在同一个进程内。将发送业务信息的OSD称为源OSD，源 OSD所在的节点称为第一节点，当源OSD需要发送业务信息时，则向第一虚拟网络层请求连接，也即源OSD发送连接请求至第一虚拟网络层，连接请求中包括目标OSD的IP地址和ID号，由于同一个节点内的所有OSD的IP地址相同，所以第一虚拟网络层可以根据连接请求中的目标OSD的IP地址可以判断出目标OSD是否与源OSD位于同一个节点内，并且还可以根据目标OSD 的IP地址确定目标OSD所在的节点。

S12：第一虚拟网络层接收源OSD发送的业务信息，并将业务信息写入至目标OSD对应的消息分发器中；

具体的，当源OSD和目标OSD位于同一个节点内部时，也即源OSD、目标OSD和第一虚拟网络层均位于第一节点中，则第一虚拟网络层根据目标 OSD的ID号确定出目标OSD的位置，并将源OSD发送的业务信息转发至目标OSD中，具体可以查找到源OSD的消息分发器，并将业务信息写入该消息分发器中，从而将业务信息拷贝至目标OSD中。

进一步的，在上述S12中，第一虚拟网络层接收源OSD发送的业务信息的过程，具体可以为：

第一虚拟网络层接收源OSD通过虚拟连接发送的业务信息，虚拟连接为第一虚拟网络层依据目标OSD的IP地址和目标OSD的ID号创建的。

需要说明的是，第一虚拟网络层接收到源OSD发送的连接请求后，依据所述连接请求中的目标OSD的IP地址、目标OSD的ID号及源OSD的ID号建立Session对象，并且还创建连接对象，该连接对象即为虚拟连接。其中，目标OSD的ID号相当于现有技术中的OSD的端口号，源OSD将业务信息通过连接对象发送至第一虚拟网络层，第一虚拟网络层将该业务信息发送至目标 OSD中，其中，无需改变OSD原有的工作方式即可使OSD之间通过虚拟连接和第一虚拟网络层进行通信，进一步减少了节点内部各个OSD之间的TCP 连接的数量。

S13：第一虚拟网络层将源OSD的ID号和目标OSD的ID号作为第一消息头部添加至源OSD发送的业务信息中得到相应的数据信息，并将数据信息通过节点之间的共享TCP连接发送至与目标OSD对应的第二节点中，以便位于第二节点中的第二虚拟网络层接收到数据信息后将数据信息发送至目标 OSD中。

需要说明的是，当目标OSD与源OSD位于不同的节点中时，例如将目标 OSD所在节点称为第二节点，节点与节点之间共享一个物理连接TCP，所以节点与节点之间进行通信时是通过一个TCP连接进行通信的。具体的，第一虚拟网络层将包括源OSD的ID号和目标OSD的ID号的消息头部添加至源 OSD发送的业务信息中，并将添加了消息头部的业务信息作为数据信息通过第一节点与第二节点之间的共享TCP连接发送至第二节点中，第二节点中的第二虚拟网络层接收到该数据信息后，读取该数据信息的消息头部，获取消息头部的目标OSD的ID号，并根据该目标OSD的ID号确定目标OSD的位置，再将数据信息中的业务信息发送至目标OSD中，具体可以通过向目标OSD对应的消息分发器中写入业务信息将该业务信息发送至目标OSD中。

更进一步的，该方法还包括：

第一虚拟网络层接收第二虚拟网络层返回的响应信息，响应信息为第二虚拟网络层在接收目标OSD返回的回调信息后，将源OSD的ID号作为第二消息头部添加至回调信息中生成的。

具体的，当目标OSD接收到源OSD发送的业务信息并响应完成后，会向第二虚拟网络层返回一个回调信息，第二虚拟网络层在接收到该回调信息后，会将源OSD的ID号作为新的目标写入至第二消息头部，并将该第二消息头部添加至回调信息中，从而生成响应信息，第二虚拟网络层将该响应信息通过节点间的共享TCP连接返回至第一节点中的第一虚拟网络中，第一虚拟网络接收到该响应信息后读取响应信息的消息头部，从而确定目标OSD对源OSD发送的业务信息响应完毕，一次通信结束。

需要说明的是，本发明实施例中将分布式存储集群中的每个节点中的每个磁盘对应的OSD进程整合为单一进程，并均通过每个节点中的虚拟网络层进行通信，在节点内部的OSD之间可以优选的采用虚拟连接进行通信，节点与节点之间共享物理连接TCP，进而减少了节点之间的OSD进行通信时所需要的TCP的数量。另外，本发明实施例中对OSD的原有工作模式改动很小，易于实现，可以为部署更大规模的集群创造条件。

本发明实施例中节点与节点之间共享TCP连接，也即每两个节点之间只需要一条TCP连接，每个节点内部均包括多个OSD和一个虚拟网络层，当两个节点之间的OSD进行通信时，可以通过第一虚拟网络层对源OSD发送的业务信息进行转发，并由目标OSD所在的第二节点中的第二虚拟网络层接收第一虚拟网络层通过共享TCP连接发送的包括业务信息的数据信息，并通过读取数据信息中的消息头部确定目标OSD，再由第二虚拟网络层将相应的业务信息发送至目标OSD中，从而实现两个节点之间的通信，节点之间通过共享 TCP连接，使整个分布式存储集群中的物理连接TCP的数量大大减少，从而降低了系统资源的消耗，提高了系统性能。

相应的本发明实施例还公开了一种分布式存储集群的通信装置，具体请参照图4，图4为本发明实施例提供的一种分布式存储集群的通信装置的结构示意图。在上述实施例的基础上：

该装置包括：

判断模块1，用于依据第一节点内部的源OSD发送的连接请求判断目标 OSD与源OSD是否位于同一节点内，如果是，则触发写入模块2；否则，触发添加模块3；连接请求包括目标OSD的IP地址和目标OSD的ID号；

写入模块2，用于接收源OSD发送的业务信息，并将业务信息写入至目标OSD对应的消息分发器中；

添加模块3，用于将源OSD的ID号和目标OSD的ID号作为第一消息头部添加至源OSD发送的业务信息中得到相应的数据信息；

发送模块4，用于将数据信息通过节点之间的共享TCP连接发送至与目标 OSD对应的第二节点中，以便位于第二节点中的第二虚拟网络层接收到数据信息后将数据信息发送至目标OSD中。

可选的，写入模块2包括：

建立单元，用于依据目标OSD的IP地址和目标OSD的ID号创建虚拟连接；

接收单元，用于接收源OSD通过虚拟连接发送的业务信息；

写入单元，用于将业务信息写入至目标OSD对应的消息分发器中。

可选的，该装置还包括：

响应模块，用于接收第二虚拟网络层返回的响应信息，响应信息为第二虚拟网络层在接收目标OSD返回的回调信息后，将源OSD的ID号作为第二消息头部添加至回调信息中生成的。

需要说明的是，本发明实施例中节点与节点之间共享TCP连接，也即每两个节点之间只需要一条TCP连接，每个节点内部均包括多个OSD和一个虚拟网络层，当两个节点之间的OSD进行通信时，可以通过第一虚拟网络层对源OSD发送的业务信息进行转发，并由目标OSD所在的第二节点中的第二虚拟网络层接收第一虚拟网络层通过共享TCP连接发送的包括业务信息的数据信息，并通过读取数据信息中的消息头部确定目标OSD，再由第二虚拟网络层将相应的业务信息发送至目标OSD中，从而实现两个节点之间的通信，节点之间通过共享TCP连接，使整个分布式存储集群中的物理连接TCP的数量大大减少，从而降低了系统资源的消耗，提高了系统性能。

另外，对于本发明实施例中所涉及到的分布式存储集群的通信方法的具体介绍请参照上述方法实施例，本申请在此不再赘述。

本发明实施例还提供了一种分布式存储集群的通信系统，包括如上述的分布式存储集群的通信装置。

在使用过程中减少了整个分布式存储集群中的物理连接TCP的数量，从而降低了系统资源的消耗，提高了系统性能。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器 (RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种分布式存储集群的通信方法，其特征在于，包括：

S11：位于第一节点内部的第一虚拟网络层依据所述第一节点内部的源OSD发送的连接请求判断目标OSD与所述源OSD是否位于同一节点内，如果是，进入S12，否则，进入S13；所述连接请求包括目标OSD的IP地址和目标OSD的ID号；

S12：所述第一虚拟网络层接收所述源OSD发送的业务信息，并将所述业务信息写入至所述目标OSD对应的消息分发器中；

S13：所述第一虚拟网络层将所述源OSD的ID号和所述目标OSD的ID号作为第一消息头部添加至所述源OSD发送的业务信息中得到相应的数据信息，并将所述数据信息通过节点之间的共享TCP连接发送至与所述目标OSD对应的第二节点中，以便位于所述第二节点中的第二虚拟网络层接收到所述数据信息后将所述数据信息发送至所述目标OSD中；

所述第一虚拟网络层接收所述源OSD发送的业务信息的过程为：

所述第一虚拟网络层接收所述源OSD通过虚拟连接发送的业务信息，所述虚拟连接为所述第一虚拟网络层依据所述目标OSD的IP地址和目标OSD的ID号创建。

2.根据权利要求1所述的分布式存储集群的通信方法，其特征在于，所述方法还包括：

所述第一虚拟网络层接收所述第二虚拟网络层返回的响应信息，所述响应信息为所述第二虚拟网络层在接收所述目标OSD返回的回调信息后，将所述源OSD的ID号作为第二消息头部添加至所述回调信息中生成的。

3.一种分布式存储集群的通信装置，其特征在于，包括：

判断模块，用于依据第一节点内部的源OSD发送的连接请求判断目标OSD与所述源OSD是否位于同一节点内，如果是，则触发写入模块；否则，触发添加模块；所述连接请求包括目标OSD的IP地址和目标OSD的ID号；

所述写入模块，用于接收所述源OSD发送的业务信息，并将所述业务信息写入至所述目标OSD对应的消息分发器中；

所述添加模块，用于将所述源OSD的ID号和所述目标OSD的ID号作为第一消息头部添加至所述源OSD发送的业务信息中得到相应的数据信息；

发送模块，用于将所述数据信息通过节点之间的共享TCP连接发送至与所述目标OSD对应的第二节点中，以便位于所述第二节点中的第二虚拟网络层接收到所述数据信息后将所述数据信息发送至所述目标OSD中；

所述写入模块包括：

建立单元，用于依据所述目标OSD的IP地址和目标OSD的ID号创建虚拟连接；

接收单元，用于接收所述源OSD通过虚拟连接发送的业务信息；

写入单元，用于将所述业务信息写入至所述目标OSD对应的消息分发器中。

4.根据权利要求3所述的分布式存储集群的通信装置，其特征在于，所述装置还包括：

响应模块，用于接收所述第二虚拟网络层返回的响应信息，所述响应信息为所述第二虚拟网络层在接收所述目标OSD返回的回调信息后，将所述源OSD的ID号作为第二消息头部添加至所述回调信息中生成的。

5.一种分布式存储集群的通信系统，其特征在于，包括如权利要求3-4任意一项所述的分布式存储集群的通信装置。

Images