CN105119786A - 一种基于网卡直连的全互连通信方法及装置 - Google Patents

Abstract

本发明提出一种基于网卡直连的全互连通信装置及方法，涉及并行通信网络领域，该装置包括：多个计算单元、多个网卡、通信中间件；所述计算单元，用于运行系统软件和应用程序，负责提供计算服务；所述网卡，用于提供数据传输服务，负责实现各个计算单元彼此间的通信；所述通信中间件，用于向应用提供调用接口，并且屏蔽底层的网络互联结构；其中所述通信中间件位于所述计算单元中，所述计算单元连接多个所述网卡，所述计算单元之间通过所述网卡进行通信。本发明在小规模系统内采用全互连，剔除了交换机成本开销；其次以太网采用存储转发机制实现交换，交换机会带来较大的延时开销，采用直连方式，消除了交换延时，减少了通信延迟时间。

Description

一种基于网卡直连的全互连通信方法及装置

技术领域

本发明涉及并行通信网络领域，特别是涉及一种基于网卡直连的全互连通信方法及装置。

背景技术

目前主流的并行通信系统多采用网卡与交换机的方案。在这种方案中，每个计算单元需配备各自的网卡，然后将网卡连接到交换机上，由于不同节点上的网卡都连接在同一交换机上，从而利用交换机实现了各个计算单元间的互连。随着网卡性能的增加，对交换机的要求也越来越高，而当前的高端交换机如万兆交换机、Infiniband交换机等价格昂贵，针对小规模的通信系统显著的增加了互连成本。

基于当前的互连架构，通信过程首先从发送端网卡开始，其次经过交换机，最后到达接收端网卡，在通信过程中必须经过交换机，由于交换机需要处理通信数据包的路由转发，从而增加了通信的延迟开销，同时，交换机在转发数据包时，会存在排队和阻塞的现象，这在某些情况下，将严重地降低系统的性能，此外，由于所有的网卡都连接在交换机上，交换机存在单点故障的问题，交换机的故障将导致整个并行系统的不可用。

发明内容

针对现有技术的不足，本发明提出一种基于网卡直连的全互连通信方法及装置。

本发明提出一种基于网卡直连的全互连通信装置，包括：

多个计算单元、多个网卡、通信中间件；

所述计算单元，用于运行系统软件和应用程序，负责提供计算服务；

所述网卡，用于提供数据传输服务，负责实现各个计算单元彼此间的通信；

所述通信中间件，用于向应用提供调用接口，并且屏蔽底层的网络互联结构；

其中所述通信中间件位于所述计算单元中，所述计算单元连接多个所述网卡，所述计算单元之间通过所述网卡进行通信。

所述的基于网卡直连的全互连通信装置，所述计算单元包括处理器与内存，所述处理器支持多种指令集，所述内存容量无限制。

所述的基于网卡直连的全互连通信装置，所述网卡提供单端口或者多端口网卡支持。

所述的基于网卡直连的全互连通信装置，所述通信中间件负责初始化和管理多块网卡，提供各计算单元间的通信服务，并向上层提供统一的调用接口。

所述的基于网卡直连的全互连通信装置，所述通信中间件包括通信管理模块，用于初始化多块网卡，并为每块网卡分配相应的物理地址；

通信抽象模块，用于向上层提供单一的通信网络结构，根据上层通信相应的目标地址，选择网卡，将数据发送到目标方；

通信接口模块，用于在通信抽象模块的基础上，为上层应用提供兼容的网络接口支持，并将用户的请求转化为对抽象模块的调用，从而实现用户应用间的通信。

所述的基于网卡直连的全互连通信装置，所述通信管理模块包括加载网卡驱动，并且根据全局的拓扑互连关系，分配相应的物理地址。

本发明还提供一种实施于所述装置的基于网卡直连的全互连通信方法，包括：

步骤1，为网卡分配网卡地址，网卡间通过所述网卡地址进行相互通信；

步骤2，根据所述网卡地址与网卡间的映射关系，初始化通信中间件，建立通信中间件中的互连映射关系；

步骤3，所述通信中间件根据上层网络数据的目标地址与所述互联映射关系，选择网卡，将网络数据包发送到目标网卡，从而完成数据的通信。

所述的基于网卡直连的全互连通信方法，所述步骤2与所述步骤3之间还包括，所述通信中间件初始化完成后，应用通过调用所述通信中间件实现数据的通信，其中调用所述通信中间件中的通信接口，并填写目标地址与所传输的数据信息。

所述的基于网卡直连的全互连通信方法，还包括所述目标网卡在接收到数据后，通知所述通信中间件，所述通信中间件获取消息到达的通知。

所述的基于网卡直连的全互连通信方法，还包括所述通信中间件通知所述应用，告知数据到达的信息，并将数据提交给所述应用。

由以上发明可知，本发明的优点在于：

首先由于高性能交换机成本较高，因此在小规模系统内采用全互连，剔除了交换机成本开销；其次以太网采用存储转发机制实现交换，交换机会带来较大的延时开销，采用直连方式，消除了交换延时，减少了通信延迟时间，对高性能计算可以获得性能上的改善；最后全互连架构是最理想的互连结构，完全不存在阻塞和排队现象，可以获得最佳的通信性能，同时也是最可靠的网络结构，满足系统容错的需求。

附图说明

图1为基于网卡直连的全互连通信架构；

图2为通信中间件架构；

图3为通信流程图。

其中附图标记为：

计算单元1处理器11

内存12网卡2

通信中间件3通信管理模块31

通信抽象模块32通信接口模块33

步骤110/120/130/140/150/160/170。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的一种基于网卡直连的全互连通信方法及装置进行进一步详细说明，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明的目的在于提供一种基于网卡直连的全互连通信系统，它通过网卡直连，将不同的计算单元连接起来。通过N个计算单元，每个计算单元配备(N-1)块网卡，可以实现计算单元间的全互连，同时，基于全互连通信系统，通信中间件管理多块网卡并向上层应用屏蔽底层网卡互连的细节，从而向上层提供方便、高效的通信服务。

下面结合上述目的，详细说明本发明基于网卡直连的全互连通信系统，图1给出了本发明基于网卡直连的全互连通信架构，包括：

计算单元1，其功能主要运行系统软件和应用程序，负责提供计算服务。其包括处理器11和内存12等，其通过加载操作系统，并运行应用程序来提供服务。本发明不对计算单元中的处理器类型加以限制，其可以支持X86，MIPS和ARM等处理器，图中通用处理器的数目为M，本发明亦不对处理器的具体数目加以限制。同样，本发明不对内存的类型和大小加以限制。

网卡2，其功能在于提供数据传输服务，负责实现各个计算单元彼此间的通信，包括数据的发送、接收、出错报告等。其可以提供单端口或者多端口网卡支持，本发明对网卡的端口数目没有限制，并且本发明对网卡的类型也没有限制，其可以是千兆以太网卡、万兆以太网卡、Infiniband网卡等多种类型的网卡。

通信中间件3，其功能在于提供高效、易用的通信服务，其主要向应用提供方便的调用接口，并且屏蔽底层的网络互联结构。通信中间件负责初始化和管理多块网卡，其基于全互连网络架构，提供不同计算单元间的通信服务，为上层应用提供方便的通信服务。

通信中间件的结构如图2所示，其包括：

通信管理模块31，其功能在于初始化多块网卡，并为每块网卡分配不同的物理地址。其首先需要加载网卡驱动，并且根据全局的拓扑互连关系，分配不同的物理地址。

通信抽象模块32，其功能在于向上层屏蔽多网卡互连的结构和多网卡管理的复杂性，向上层提供单一的通信网络结构，从而可以更好的兼容已有的网络应用。同时，其根据上层通信不同的目标地址，选择合适的底层网卡，将数据发送到目标方。

通信接口模块33，其功能在通信抽象模块的基础上，为上层应用提供兼容的网络接口支持，并将用户的请求转化为对抽象模块的调用，从而实现用户应用间的通信。

基于本发明的基于网卡直连的全互连通信架构及方法，本发明的通信流程如图3所示，包括下列步骤：

步骤110.在每个计算单元上安装多块网卡，并且通过网线将不同的网卡连接起来。当网卡支持多端口时，可以按照端口，将网卡的不同端口连接起来，从而建立网络全互连的拓扑结构。

步骤120.为不同的网卡分配地址，从而可以使用这些地址来进行网卡间的相互通信。

步骤130.根据网卡地址和网卡间的映射关系，初始化通信中间件，建立通信中间件中的互连映射关系，从而为不同的网卡之间建立相应的通信链路。

步骤140.通信中间件初始化完成后，应用通过调用通信中间件实现数据的通信，其首先调用通信中间件中的通信接口，并填写目标地址和所传输的数据信息。

步骤150.通信中间件根据上层网络数据的目标地址和通信链路间的映射关系，选择合适的底层网卡，将网络数据包发送到目标网卡，从而完成数据的通信。

步骤160.目标网卡在接收到发送网卡发送的数据后，将通知通信中间件，通信中间件从而获取消息到达的通知。

步骤170.最终，通信中间件通知应用，告知数据到达的信息，并将数据提交给应用。

Claims (10)

1.一种基于网卡直连的全互连通信装置，其特征在于，包括：

多个计算单元、多个网卡、通信中间件；

所述计算单元，用于运行系统软件和应用程序，负责提供计算服务；

所述网卡，用于提供数据传输服务，负责实现各个计算单元彼此间的通信；

所述通信中间件，用于向应用提供调用接口，并且屏蔽底层的网络互联结构；

其中所述通信中间件位于所述计算单元中，所述计算单元连接多个所述网卡，所述计算单元之间通过所述网卡进行通信。

2.如权利要求1所述的基于网卡直连的全互连通信装置，其特征在于，所述计算单元包括处理器与内存，所述处理器支持多种指令集，所述内存容量无限制。

3.如权利要求1所述的基于网卡直连的全互连通信装置，其特征在于，所述网卡提供单端口或者多端口网卡支持。

4.如权利要求1所述的基于网卡直连的全互连通信装置，其特征在于，所述通信中间件负责初始化和管理多块网卡，提供各计算单元间的通信服务，并向上层提供统一的调用接口。

5.如权利要求4所述的基于网卡直连的全互连通信装置，其特征在于，所述通信中间件包括通信管理模块，用于初始化多块网卡，并为每块网卡分配相应的物理地址；

通信抽象模块，用于向上层提供单一的通信网络结构，根据上层通信相应的目标地址，选择网卡，将数据发送到目标方；

通信接口模块，用于在通信抽象模块的基础上，为上层应用提供兼容的网络接口支持，并将用户的请求转化为对抽象模块的调用，从而实现用户应用间的通信。

6.如权利要求5所述的基于网卡直连的全互连通信装置，其特征在于，所述通信管理模块包括加载网卡驱动，并且根据全局的拓扑互连关系，分配相应的物理地址。

7.一种实施于权利要求1所述装置的基于网卡直连的全互连通信方法，其特征在于，包括：

步骤1，为网卡分配网卡地址，网卡间通过所述网卡地址进行相互通信；

步骤2，根据所述网卡地址与网卡间的映射关系，初始化通信中间件，建立通信中间件中的互连映射关系；

步骤3，所述通信中间件根据上层网络数据的目标地址与所述互联映射关系，选择网卡，将网络数据包发送到目标网卡，从而完成数据的通信。

8.如权利要求7所述的基于网卡直连的全互连通信方法，其特征在于，所述步骤2与所述步骤3之间还包括，所述通信中间件初始化完成后，应用通过调用所述通信中间件实现数据的通信，其中调用所述通信中间件中的通信接口，并填写目标地址与所传输的数据信息。

9.如权利要求7所述的基于网卡直连的全互连通信方法，其特征在于，还包括所述目标网卡在接收到数据后，通知所述通信中间件，所述通信中间件获取消息到达的通知。

10.如权利要求9所述的基于网卡直连的全互连通信方法，其特征在于，还包括所述通信中间件通知所述应用，告知数据到达的信息，并将数据提交给所述应用。