CN109120671A

CN109120671A - 一种基于分布式系统建立通信连接的方法和装置

Info

Publication number: CN109120671A
Application number: CN201810777440.6A
Authority: CN
Inventors: 张旭升; 孙业宽
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2018-07-16
Filing date: 2018-07-16
Publication date: 2019-01-01

Abstract

本申请公开了一种基于分布式系统建立通信连接的方法和装置，该方法包括：将分布式系统中第一节点的多个进程合并；并将分布式系统中第二节点的多个进程合并；在第一节点和第二节点之间建立一条目标通信连接；在第一节点的多个进程与第二节点的多个进程之间建立虚拟连接层。采用上述方式建立分布式系统中任意两个节点之间的通信连接。由此可见，通过合并节点内部多个进程，在一个节点的多个进程与另一个节点的多个进程之间建立虚拟连接层，只在任意两个节点之间建立通信连接，大大降低分布式系统对建立通信连接的需求量；在相同通信连接资源的情况下，在分布式系统中能够扩展更多的节点。从而，间接地降低分布式系统对系统性能的要求。

Description

一种基于分布式系统建立通信连接的方法和装置

技术领域

本申请涉及通信技术领域，尤其涉及一种基于分布式系统建立通信连接的方法和装置。

背景技术

随着科技的快速发展和现阶段的需求，系统由集中式倾向于分布式发展，同集中式系统相比，分布式系统具有高效率、高可靠性的优势。例如，包括多台服务器的分布式存储系统，每台服务器包括多个用于存储数据的硬盘。

现有技术中，分布式存储系统中每个硬盘对应分配一个数据存储服务进程，即osd进程，负责数据的读写以及同步操作。一个osd进程与另一个osd进程之间必须建立通信连接才能进行通信，以完成数据发送以及状态监测等功能。若每台服务器包括N个硬盘，则每台服务器内部需要建立条通信连接；若分布式存储系统包括M台服务器节点，则分布式存储系统需要建立条通信连接。

发明人经过研究发现，采用现有技术的建立通信连接进行通信的方式，分布式存储系统对通信连接的需求量巨大，且当对分布式存储系统进行系统扩展时，还需要提供更多的通信连接，最终造成大量的通信连接资源的消耗。

发明内容

本申请所要解决的技术问题是，提供一种基于分布式系统建立通信连接的方法和装置，大大降低分布式系统对建立通信连接的需求量；在相同通信连接资源的情况下，在分布式系统中能够扩展更多的节点；从而，间接地降低分布式系统对系统性能的要求。

第一方面，本申请实施例提供了一种基于分布式系统建立通信连接的方法，该方法包括：

将分布式系统中第一节点的多个进程合并；

将分布式系统中第二节点的多个进程合并；

在所述第一节点和所述第二节点之间建立一条目标通信连接；

在所述第一节点的多个进程与所述第二节点的多个进程之间建立虚拟连接层。

优选的，所述将分布式系统中第一节点的多个进程合并，包括：

将所述第一节点的多个进程之间的通信连接移除；

合并所述第一节点的多个进程；

对应地，所述将分布式系统中第二节点的多个进程合并，包括：

将所述第二节点的多个进程之间的通信连接移除；

合并所述第二节点的多个进程。

优选的，所述在所述第一节点的多个进程与所述第二节点的多个进程之间建立虚拟连接层，包括：

将所述第一节点的多个进程与所述第二节点的多个进程之间的通信连接移除；

在所述第一节点的多个进程与所述第二节点的多个进程之间建立虚拟连接，形成虚拟连接层。

优选的，所述第一节点的多个进程之间采用第一消息队列进行通信；所述第二节点的多个进程之间采用第二消息队列进行通信。

优选的，所述第一节点的多个进程与所述第二节点的多个进程之间基于所述虚拟连接层，利用所述目标通信连接进行通信。

第二方面，本申请实施例提供了一种基于分布式系统建立通信连接的装置，该装置包括：

第一合并单元，用于将分布式系统中第一节点的多个进程合并；

第二合并单元，用于将分布式系统中第二节点的多个进程合并；

第一建立单元，用于在所述第一节点和所述第二节点之间建立一条目标通信连接；

第二建立单元，用于在所述第一节点的多个进程与所述第二节点的多个进程之间建立虚拟连接层。

优选的，所述第一合并单元包括：

第一移除子单元，用于将所述第一节点的多个进程之间的通信连接移除；

第一合并子单元，用于合并所述第一节点的多个进程；

对应地，所述第二合并单元包括：

第二移除子单元，用于将所述第二节点的多个进程之间的通信连接移除；

第二合并子单元，用于合并所述第二节点的多个进程。

优选的，所述第二建立单元包括：

第三移除子单元，用于将所述第一节点的多个进程与所述第二节点的多个进程之间的通信连接移除；

第一建立子单元，用于在所述第一节点的多个进程与所述第二节点的多个进程之间建立虚拟连接，形成虚拟连接层。

与现有技术相比，本申请至少具有以下优点：

采用本申请实施例的技术方案，首先，将分布式系统中第一节点的多个进程合并；并将分布式系统中第二节点的多个进程合并；然后，在所述第一节点和所述第二节点之间建立一条目标通信连接；最后，在所述第一节点的多个进程与所述第二节点的多个进程之间建立虚拟连接层。采用上述方式建立分布式系统中任意两个节点之间的通信连接。由此可见，通过合并节点内部多个进程，在一个节点的多个进程与另一个节点的多个进程之间建立虚拟连接层，只在任意两个节点之间建立通信连接，大大降低分布式系统对建立通信连接的需求量；在相同通信连接资源的情况下，在分布式系统中能够扩展更多的节点。从而，间接地降低分布式系统对系统性能的要求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对本申请实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的现有技术中分布式存储系统osd进程之间通信连接的结构示意图；

图2为本申请实施例提供的一种基于分布式系统建立通信连接的方法的流程示意图；

图3为本申请实施例提供的节点的多个进程合并的流程示意图；

图4为本申请实施例提供的在两个节点之间建立通信连接的流程示意图；

图5为本申请实施例提供的在第一节点的多个进程与第二节点的多个进程之间建立虚拟连接层的流程示意图；

图6为本申请实施例提供的另一种基于分布式系统建立通信连接的方法的流程示意图；

图7为本申请实施例提供的一种基于分布式系统建立通信连接的装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现阶段，分布式存储系统中每个硬盘对应分配一个负责数据读写以及同步操作的数据存储服务进程，即osd进程。两个osd进程之间必须建立通信连接才能进行通信，以完成数据发送以及状态监测等功能。例如，如图1所示的现有技术中分布式存储系统osd进程之间通信连接的结构示意图，分布式存储系统包括M台服务器节点，每台服务器包括N个硬盘，对应N个osd进程，则每台服务器内部需要建立条通信连接，分布式存储系统共需要建立条通信连接。发明人经过研究发现，采用上述建立通信连接进行通信的方式，分布式存储系统对通信连接的需求量巨大，且当对分布式存储系统进行系统扩展时，还需要提供更多的通信连接，最终造成大量的通信连接资源的消耗。

为了解决这一问题，在本申请实施例中，首先，将分布式系统中第一节点的多个进程合并；并将分布式系统中第二节点的多个进程合并；然后，在所述第一节点和所述第二节点之间建立一条目标通信连接；最后，在所述第一节点的多个进程与所述第二节点的多个进程之间建立虚拟连接层。采用上述方式建立分布式系统中任意两个节点之间的通信连接。由此可见，通过合并节点内部多个进程，在一个节点的多个进程与另一个节点的多个进程之间建立虚拟连接层，只在任意两个节点之间建立通信连接，大大降低分布式系统对建立通信连接的需求量；在相同通信连接资源的情况下，在分布式系统中能够扩展更多的节点。从而，间接地降低分布式系统对系统性能的要求。

下面结合附图，通过实施例来详细说明本申请实施例中基于分布式系统建立通信连接的方法和装置的具体实现方式。

示例性方法

可以理解的是，实现分布式系统通信是指在分布式系统的所有节点内部以及所有节点之间实现通信。实现任意节点内部的通信方式相同的，实现任意两个节点之间的通信方式相同的，因此，在本实施例中，以分布式系统中第一节点与第二节点为例，描述分布式系统建立通信连接的方法，对于该分布式系统中其余任意两个节点而言，建立通信连接的方法是相同的。

参见图2，示出了本申请实施例中一种基于分布式系统建立通信连接的方法的流程示意图。在本实施例中，所述方法例如可以包括以下步骤：

步骤201：将分布式系统中第一节点的多个进程合并。

步骤202：将分布式系统中第二节点的多个进程合并。

需要说明的是，在本实施例中，并不限定所述步骤201和所述步骤202的执行顺序。既可以先执行所述步骤201，再执行所述步骤202；也可以先执行所述步骤202，再执行所述步骤201；还可以同时执行所述步骤201和所述步骤202。

可以理解的是，分布式系统包括多个节点，而节点包括多个进程，现有技术中心，节点内部的多个进程之间需要建立通信连接，以实现节点内部多个进程之间的通信。为了降低节点内部建立通信连接的需求量，可以采取将节点内部的多个进程进行合并，形成一个进程，即，一个节点内部只有一个进程。实现节点内部的多个进程合并，首先需要将现有技术中节点内部的多个进程之间的通信连接移除，才能将节点内部的多个进程合并为一个进程。

因此，对于第一节点而言，在本实施例的一些实施方式中，所述步骤201例如可以包括以下步骤：

步骤A：将所述第一节点的多个进程之间的通信连接移除；

步骤B：合并所述第一节点的多个进程。

对应步骤201，同理可得，对于第二节点而言，在本实施例的一些实施方式中，所述步骤202例如可以包括以下步骤：

步骤C：将所述第二节点的多个进程之间的通信连接移除；

步骤D：合并所述第二节点的多个进程。

例如，如图3所示节点的多个进程合并的流程示意图，上方图表示现有技术中节点内部包括N个进程，任意两个进程之间建立有通信连接。采用本申请的技术方案，首先，中间图表示将节点内部N个进程之间的通信连接移除，然后，下方图表示将节点内部的N个进程合并成一个进程。

需要说明的是，在完成节点内部的多个进程合并之后，节点内部只有一个进程，这时，节点内部的多个进程之间不再通过通信连接进行通信，而是采取节点内部进程内存的消息队列进行通信。因此，在本实施例的一些实施方式中，所述第一节点的多个进程之间采用第一消息队列进行通信；所述第二节点的多个进程之间采用第二消息队列进行通信。

步骤203：在所述第一节点和所述第二节点之间建立一条目标通信连接。

可以理解的是，在步骤201和步骤202之后，第一节点内部只有一个进程，例如，第一节点进程；第二节点内部也只有一个进程，例如，第二节点进程。此时，只需要在第一节点和第二节点之间建立一条通信连接，相当于在第一节点进程与第二节点进程之间建立通信连接，以实现第一节点进程与第二节点进程之间的通信。

例如，如图4所示在两个节点之间建立通信连接的流程示意图，上方图表示步骤201得到的第一节点与步骤202得到的第二节点之间无通信连接，采用本申请的技术方案，下方图表示在上述第一节点和上述第二节点之间建立一条通信连接。

步骤204：在所述第一节点的多个进程与所述第二节点的多个进程之间建立虚拟连接层。

需要说明的是，在步骤203之后，在进行第一节点与第二节点之间通信时，既为了明确是第一节点的哪个进程与第二节点的哪个进程之间进行通信，又为了降低第一节点的多个进程与第二节点的多个进程之间建立通信连接的需求量，可以采取在第一节点的多个进程与第二节点的多个进程之间建立虚拟连接层的方式。建立虚拟连接层首先需要将现有技术中第一节点的多个进程与第二节点的多个进程之间的通信连接移除，然后改为建立虚拟连接，形成虚拟连接层。因此，在本实施例的一些实施方式中，所述步骤204例如可以包括以下步骤：

步骤E：将所述第一节点的多个进程与所述第二节点的多个进程之间的通信连接移除；

步骤F：在所述第一节点的多个进程与所述第二节点的多个进程之间建立虚拟连接，形成虚拟连接层。

例如，如图5所示在第一节点的多个进程与第二节点的多个进程之间建立虚拟连接层的流程示意图，上方图表示现有技术中第一节点的多个进程与第二节点的多个进程之间建立有通信连接；采用本申请的技术方案，首先，中间图表示将第一节点的多个进程与第二节点的多个进程之间的通信连接移除；下方图表示在第一节点的多个进程与第二节点的多个进程之间建立虚拟连接，如图中虚线所示，最终形成虚拟连接层。

需要说明的是，在建立形成虚拟连接层之后，当第一节点的某个进程与第二节点的某个进程通信时，在实际通信过程中，首先，基于步骤204中的虚拟连接层可以明确第一节点的哪个进程与第二节点的哪个进程之间进行通信，然后，利用步骤203中的目标通信连接实现第一节点的某个进程与第二节点的某个进程之间的通信。因此，在本实施例的一些实施方式中，所述第一节点的多个进程与所述第二节点的多个进程之间基于所述虚拟连接层，利用所述目标通信连接进行通信。

可以理解的是，若分布式存储系统包括M台服务器节点，且每台服务器包括N个硬盘，对应N个osd进程，则每台服务器内部需要建立条通信连接，分布式存储系统共需要建立条通信连接。采用本申请的技术方案，将每台服务器中的N个osd进程合并，每台服务器对应一个osd进程，在任意两台服务器之间建立通信连接，在任意两台服务器的多个进程之间建立虚拟连接，最后形成虚拟连接层，分布式存储系统共需要建立条通信连接。通信连接数从现有技术中的降低为本申请实施例中的因此，本申请的技术方案能够大大降低分布式存储系统对建立通信连接的需求量，且在提供相同数量的通信连接的情况下，本申请相比现有技术的方案可以在分布式存储系统中能够扩展更多的节点。

通过本实施例提供的各种实施方式，首先，将分布式系统中第一节点的多个进程合并；并将分布式系统中第二节点的多个进程合并；然后，在所述第一节点和所述第二节点之间建立一条目标通信连接；最后，在所述第一节点的多个进程与所述第二节点的多个进程之间建立虚拟连接层。采用上述方式建立分布式系统中任意两个节点之间的通信连接。由此可见，通过合并节点内部多个进程，在一个节点的多个进程与另一个节点的多个进程之间建立虚拟连接层，只在任意两个节点之间建立通信连接，大大降低分布式系统对建立通信连接的需求量；在相同通信连接资源的情况下，在分布式系统中能够扩展更多的节点。从而，间接地降低分布式系统对系统性能的要求。

假设分布式系统为分布式存储系统，其中，分布式存储系统包括M台服务器节点，且每个服务器节点包括N个硬盘，一个硬盘对应分配一个osd进程。以分布式存储系统中第一服务器节点与第二服务器节点为例，通过又一实施例来详细说明本申请实施例中基于分布式系统建立通信连接的方法的具体实现方式，对于该分布式系统中其余任意两个服务器节点而言，建立通信连接的方法是相同的。

参见图6，示出了本申请实施例中另一种基于分布式系统建立通信连接的方法的流程示意图。在本实施例中，所述方法例如可以包括以下步骤：

步骤601：将第一服务器节点的N个osd进程之间的通信连接移除。

步骤602：合并第一服务器节点的N个osd进程。

步骤603：将第二服务器节点的N个osd进程之间的通信连接移除。

步骤604：合并第二服务器节点的N个osd进程。

步骤605：在第一服务器节点和第二服务器节点之间建立一条目标通信连接。

步骤606：将第一服务器节点的N个osd进程与第二服务器节点的N个osd进程之间的通信连接移除。

步骤607：在第一服务器节点的N个osd进程与第二服务器节点的N个osd进程之间建立虚拟连接，形成虚拟连接层。

需要说明的是，在本实施例中，并不限定所述步骤601-602和所述步骤603-604的执行顺序。既可以先执行所述步骤601-602，再执行所述步骤603-604；也可以先执行所述步骤603-604，再执行所述步骤601-602；还可以同时执行所述步骤601-602和所述步骤603-604。

通过本实施例提供的各种实施方式，首先，将分布式存储系统中第一服务器节点的N个osd进程合并；并将分布式存储系统中第二服务器节点的N个osd进程合并；然后，在所述第一服务器节点和所述第二服务器节点之间建立一条目标通信连接；最后，在所述第一服务器节点的N个osd进程与所述第二服务器节点的N个osd进程之间建立虚拟连接层。采用上述方式建立分布式存储系统中任意两个节点之间的通信连接。由此可见，通过合并节点内部N个osd进程，在一个节点的N个osd进程与另一个节点的N个osd进程之间建立虚拟连接层，只在任意两个节点之间建立通信连接，大大降低分布式存储系统对建立通信连接的需求量；在相同通信连接资源的情况下，在分布式存储系统中能够扩展更多的节点。从而，间接地降低分布式存储系统对系统性能的要求。

示例性设备

参见图7，示出了本申请实施例中一种基于分布式系统建立通信连接的装置的结构示意图。在本实施例中，所述装置例如具体可以包括：

第一合并单元701，用于将分布式系统中第一节点的多个进程合并；

第二合并单元702，用于将分布式系统中第二节点的多个进程合并；

第一建立单元703，用于在所述第一节点和所述第二节点之间建立一条目标通信连接；

第二建立单元704，用于在所述第一节点的多个进程与所述第二节点的多个进程之间建立虚拟连接层。

可选的，所述第一合并单元701包括：

第一合并子单元，用于合并所述第一节点的多个进程；

对应地，所述第二合并单元702包括：

第二合并子单元，用于合并所述第二节点的多个进程。

可选的，所述第二建立单元704包括：

可选的，所述第一节点的多个进程之间采用第一消息队列进行通信；所述第二节点的多个进程之间采用第二消息队列进行通信。

可选的，所述第一节点的多个进程与所述第二节点的多个进程之间基于所述虚拟连接层，利用所述目标通信连接进行通信。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。

Claims

1.一种基于分布式系统建立通信连接的方法，其特征在于，包括：

将分布式系统中第一节点的多个进程合并；

将分布式系统中第二节点的多个进程合并；

2.根据权利要求1所述的方法，其特征在于，所述将分布式系统中第一节点的多个进程合并，包括：

将所述第一节点的多个进程之间的通信连接移除；

合并所述第一节点的多个进程；

将所述第二节点的多个进程之间的通信连接移除；

合并所述第二节点的多个进程。

3.根据权利要求1所述的方法，其特征在于，所述在所述第一节点的多个进程与所述第二节点的多个进程之间建立虚拟连接层，包括：

4.根据权利要求1所述的方法，其特征在于，所述第一节点的多个进程之间采用第一消息队列进行通信；所述第二节点的多个进程之间采用第二消息队列进行通信。

5.根据权利要求1所述的方法，其特征在于，所述第一节点的多个进程与所述第二节点的多个进程之间基于所述虚拟连接层，利用所述目标通信连接进行通信。

6.一种基于分布式系统建立通信连接的装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述第一合并单元包括：

第一合并子单元，用于合并所述第一节点的多个进程；

对应地，所述第二合并单元包括：

第二合并子单元，用于合并所述第二节点的多个进程。

8.根据权利要求6所述的装置，其特征在于，所述第二建立单元包括：

9.根据权利要求6所述的装置，其特征在于，所述第一节点的多个进程之间采用第一消息队列进行通信；所述第二节点的多个进程之间采用第二消息队列进行通信。

10.根据权利要求6所述的装置，其特征在于，所述第一节点的多个进程与所述第二节点的多个进程之间基于所述虚拟连接层，利用所述目标通信连接进行通信。