CN101616194B

CN101616194B - 主机网络性能优化系统及方法

Info

Publication number: CN101616194B
Application number: CN2009101599279A
Authority: CN
Inventors: 朱明�; 杨晓强
Original assignee: University of Science and Technology of China USTC
Current assignee: University of Science and Technology of China USTC
Priority date: 2009-07-23
Filing date: 2009-07-23
Publication date: 2012-07-11
Anticipated expiration: 2029-07-23
Also published as: CN101616194A

Abstract

一种主机网络性能优化方法，包括以下步骤：将内核空间的预定内存划分为用户空间与内核空间的共享内存缓冲区；根据应用程序的指令将磁盘中待发送数据读入所述共享内存缓冲区中，并写入所述待发送数据的对应发送信息；以及网卡驱动程序主动查询所述共享内存缓冲区，以搜索待发送数据并结合所述发送信息进行发送。本发明能够以相对简单的方式提高网络的性能。

Description

主机网络性能优化系统及方法

技术领域

本发明涉及互联网领域，尤其涉及一种主机网络性能的优化方法。

背景技术

网络性能是主机性能的一个极其重要的组成部分，网络性能主要包括两个方面：中央处理单元(CPU)占用率和吞吐率。在其它因素没变的情况下，降低CPU占用率是一个值得追求的目标。理想的网络传输性能要求在提高网络吞吐率的同时，降低CPU占用率。

但是，CPU占用率和吞吐率是互相矛盾的，一般地，吞吐率的提高是以牺牲CPU为代价的，客观上要求消耗大量的CPU资源。特别是随着互联网技术的发展，无论是终端系统还是骨干网络，由于大量采取千兆甚至万兆的路由器，加上光纤技术的广泛使用，使得互联网的网络带宽不断提升，CPU处理速率远远落后于网络处理速率，具体表现在：主机在发送数据时候，主机CPU资源大部分都使用在数据发送上，剥夺了其它应用程序的执行机会。

传统数据发送原理如图1所示，在处于进程用户空间的应用程序发出磁盘数据发送的指令时，磁盘数据会经过实线表示的直接存储器存取(DMA)复制(对应步骤102和步骤108)和虚线表示的CPU复制(对应步骤104和步骤106)，依次经过进程用户空间和内核空间对应的读缓冲区、应用程序缓冲区、协议栈缓冲区和网卡缓冲区，最后将数据发送出。由于传统方式过程中，数据在内存中存在多个复制，需要CPU参与，因此造成CPU资源浪费。

为了节省主机CPU资源，目前提出了TCP/IP(传输控制协议/网际协议)减负引擎(TOE，TCP/IP offload engine)技术。该技术原理如下：TOE把原来由主机CPU处理的网络流量转化给网卡处理，采用内嵌有处理器的网卡(俗称智能网卡)来处理所有的网络流量，从而节省主机CPU资源。

但是综合来说，TOE方法有以下缺点：1.价格偏高，TOE成品网卡价格都是数千元以上。2.软件硬件实现上极其困难，TOE设计上涉及到许多嵌入式器件的使用。3.TOE系统架构复杂，不容易实现和使用。

发明内容

本发明的目的旨在至少解决现有技术中的上述问题之一。

为此，本发明的实施例提出一种主机网络性能优化方法和系统，以节省主机CPU资源，

根据本发明的一个方面，本发明实施例提出了一种主机网络性能优化方法，所述优化方法包括以下步骤：将内核空间的预定内存划分为用户空间与内核空间的共享内存缓冲区；根据应用程序的指令将磁盘中待发送数据读入所述共享内存缓冲区中，并写入所述待发送数据的对应发送信息；以及网卡驱动程序主动查询所述共享内存缓冲区，以搜索待发送数据并结合所述发送信息进行发送。

根据本发明进一步的实施例，所述待发送数据的读入步骤利用mmap系统调用。

根据本发明进一步的实施例，所述网卡驱动程序为后缀为ko的模块。

根据本发明进一步的实施例，所述共享内存缓冲区被影射为字符设备文件。

根据本发明的另一方面，本发明的实施例提出一种主机网络性能优化系统，所述优化系统包括：内存划分模块，将内核空间的预定内存划分为用户空间与内核空间的共享内存缓冲区；应用层调用模块，根据应用程序的指令将磁盘中待发送数据读入所述共享内存缓冲区中，并写入所述待发送数据的对应发送信息；网卡驱动模块，主动查询所述共享内存缓冲区，以搜索待发送数据并结合所述发送信息进行数据发送。

根据本发明进一步的实施例，所述应用层调用模块通过mmap系统调用读入所述待发送数据。

根据本发明进一步的实施例，所述网卡驱动模块为后缀为ko的模块。

根据本发明进一步的实施例，所述内存划分模块将所述共享内存缓冲区影射为字符设备文件。

本发明通过在内核空间内开辟可以用户空间和内核空间共享的内存，在利用该共享内存缓冲区执行数据发送时，减少系统的数据复制次数，使得CPU的资源在数据发送时不被占用。从而在不增加硬件的前提下，以相对简单实用的方式在保证网络吞吐率的同时降低CPU的使用率，实现对主机网络性能的优化。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为传统数据发送原理图；

图2为本发明主机网络性能优化系统结构示意图；

图3为本发明实施例的数据发送原理图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

参考图2，如图所示，本发明的应用层调用模块12通过应用程序接口(API)14，根据用户空间的应用程序的上层指令来进行调用，从而将磁盘中待发送数据读入用户空间和内核空间的一个共享内存缓冲区16中，并在该共享内存缓冲区16中写入待发送数据的对应发送信息。

具体来说，共享内存缓冲区16是在网卡启动的时候，申请并且初始化一块处于内核空间的内存，作为和用户空间共享的内存。在一个实施例中，并把该块内存映射成字符设备文件，其他应用程序可以通过访问该设备文件来访问这块内存。在一个实施例中，应用层程序可以通过mmap函数(该函数为unix/linux下的系统调用)进行内存映射，由mmap函数得到共享内存缓冲区的虚拟地址，通过该地址执行对共享内存缓冲区的读写操作。

网卡驱动模块18可以主动查询共享内存缓冲区16，以搜索待发送数据并结合对应的发送信息进行数据发送。即，使得共享内存缓存区16作为供网卡驱动程序和用户模式的应用程序共同访问的内核空间的数据缓冲区。网卡在工作的时候，每次发送或者接收到数据都会产生一个中断，网卡驱动模块18可以调用中断处理函数，来查询共享内存缓冲区16中是否存在待发送数据。

具体来说，修改网卡驱动程序的工作方式，使得驱动程序主动地查询上述共享内存缓冲区16，如果发现应用程序有数据发送的指令，则马上组织发送数据。传统上，网卡是被动地发送数据，内核主动调用网卡驱动来发送数据，本发明改变数据发送方式，改为网卡驱动程序驱动网卡主动发送数据，由网卡主动搜索共享内存缓冲区16中待发送的数据，并且根据相应地要求，打包发送数据。

下面结合图3的数据发送示意图，对本发明的工作原理进行详细说明。

如上文所述，对共享内存缓冲区的划分，可以在网卡驱动程序初始化的时候，主动申请一块内存，作为供网卡驱动程序和用户模式的应用程序共同访问的内核空间的数据缓冲区。具体的，驱动程序启动时候执行的第一个函数是static int_init driver_init_module(void)，申请内存的代码可以在该函数插入，内存申请函数是vmalloc。

在一个实施例中，可以将已开辟内存映射为字符设备文件，从而用户模式的应用程序也可以访问该段内存。

对于上述获取的用vmalloc函数分配的内存，利用vmalloc_area指向该内存，并把vmalloc_area指向的内存映射为一个字符设备文件，应用程序访问该文件就是访问vmalloc_area所指向的内存，即共享内存缓冲区16。图3中虚线框表示的共享内存缓冲区16表示用户空间可以对内核空间的实际内存16进行访问，两者之间对该内存共享。

在一个实施例中，网卡驱动程序为后缀为ko的模块。网卡驱动程序以后缀为ko的模块形式存在于内核里面，这种后缀为ko的模块可以动态加载到内核里面。即：系统启动的时候模块可以不加载到内存，等需要的时候才手动地加载进去，成为内核的一部分。因为网卡驱动程序是用C语言写的，并可以动态加载，所以可以根据网卡的源代码修改，然后生成ko模块，重新加载到内核。

当然，本发明不局限于该具体实施例，网卡驱动程序可以是其他格式的模块，和/或可以固定加载到内核中。

对于ko后缀的可动态加载的网卡驱动程序，为了使得应用程序可以和驱动程序模块通信，应用层调用接口(API)首先需要动态载入网卡驱动程序模块insmod mmap.ko，mmap.ko是网卡驱动程序编译出来的模块文件，载入模块后，才可以发挥该模块的功能。

为了使得应用程序和驱动程序模块有一个通信空间，必须建立一个节点文件，即字符设备文件。由于网卡驱动程序模块采用的是动态分配字符设备文件的主设备号，因此首先要查询网卡驱动程序模块所使用的主设备号，使用下面的命令：

ls-al/proc/devices|grep mmap

mmap是网卡驱动程序使用的名字，用来表示主设备号名称，这里假设主设备号为220。

可以使用下面的命令来创建节点：

mknod node c 220 0

node是所创建的字符设备文件名，c是char的缩写，表示创建的是字符设备文件。220和0分别是主设备号和次设备号，驱动程序通过它们找到在驱动程序模块中的实现函数。

这时，应用程序可以通过API接口执行下列步骤和模块通信：

首先打开刚刚创建的字符设备文件，然后使用mmap函数映射文件，获取处于内核空间的共享内存缓冲区16的虚拟地址；读入待发送的文件到该虚拟地址上(对应步骤202)；然后，建立通信协议，指示内核空间的网卡驱动程序发送数据。

关于建立与网卡驱动程序的通信协议，具体来说应用程序需要通过某个信号变量指示网卡驱动程序模块有数据需要发送，并且将发送地源IP，源端口，目标IP、目标端口和发送数据的开始地址以及长度等有关发送数据的发送信息写到某个信号变量里面。

在本实施例中，使用struct user_kernel_signal来表示该信号变量的类型，它是驱动程序模块和应用程序通信的桥梁，它们之间的关系是读-写关系，所以没有必要加锁控制。

struct user_kernel_signal定义如下：

struct user_kernel_signal{

bool yesorno； //是否有数据发送，＝1表示有数据要发送，＝0表示没有

bool ok； //数据是否发送完成，由驱动模块填写。

int socket； //与发送相关的套接字

int source_IP； //附加信息，源IP

int sourc_port； //附加信息，源端口

int dest_IP； //附加信息，目标IP

int dest_port； //附加信息，目标端口

char*start_address； //待发送数据起始地址

int length； //待发送数据长度

struct user_kernel_signal*next；//是否有下一个信息单元

}；

当应用程序需要发送数据，它只需构造该数据结构，把每项信息填写到下面结构里面：

struct user_kernel_signal*uk_signal＝(struct user_kernel_signal*)vadr；

然后初始化指针的每个域，并将该数据结构写入到共享内存缓冲区特定位置中。

网卡驱动程序模块主动搜索共享内存缓冲区，从而从中获得应用程序写入的有关信息，首先检查yesorno，如果该值为1，并且ok置0，表示有数据发送，则网卡驱动程序模块根据与发送相关的套接字(socket)、待发送数据起始地址(start address)、待发送数据长度(length)各项附加信息来构造数据头，并且把数据头和帧负载分别拷贝到网卡缓冲区20中(对应步骤204)，网卡缓冲区20自动发送数据。数据发送完成后，网卡驱动程序模块把信号变量的ok域置1，同时yesorno置0，表示发送完成，用来通知应用程序数据发送完成，可以再次使用该信号变量。在数据发送后，应用程序同时负责将磁盘数据进行释放和销毁，避免在磁盘中产生碎片。

网卡驱动程序(模块)主动查询已经开辟的内存，这里的主动查询可以是网卡驱动程序根据网卡完成数据发送的中断触发进行主动查询。

实际操作中，网卡每次发送或者接收到一个数据帧，都会产生一个软中断，中断处理入口函数是：

static irqreturn_t xxxxxx_interrupt(int irq，void*dev_instance，structpt_regs*regs)

该函数会首先分辨是什么类型的代码，然后不同的中断，调用不同的处理函数。本发明只需要修改“发送完成中断”的处理过程，即对应下面函数：

static void xxxxxx_tx_interrupt(struct net_device*dev，structxxxxxx_private*tp，void_iomem*ioaddr)

通过上述修改函数，可以增加的处理过程如下：

(1)通过tp指针，网卡驱动程序访问网卡缓冲区20，如果该缓冲区中存在发送空间能容纳新数据，则继续下面的操作步骤(2)，否则按照正常过程执行，即执行网卡驱动程序的原有代码处理功能。

(2)通过vmalloc_area变量(该变量是处于模块全局变量函数，因此网卡驱动程序可以访问所有函数)，网卡驱动程序检查是否vmalloc_area所指的内存有待发送的数据。若有，则根据应用程序写入共享内存缓冲区16中数据对应发送信息，把数据拷贝到空余的网卡缓冲区20中，以待发送。若无，则按正常过程执行。

本发明的典型应用场景是大文件发送过程，比如FTP(文件传输协议)服务器要在服务器端和客户端中传输一个大文件，或者在局域网上两台主机需要共享大文件。本发明对于大文件的发送效率较高，可以明显降低CPU的使用率，取得预期效果。

本发明通过在内核空间内开辟可以用户空间和内核空间共享的内存，在利用该共享内存缓冲区执行数据发送时，仅具有从磁盘到该共享内存以及从该共享内存到网卡缓冲区的两次DMA复制，而避免了跨用户空间和内核空间的数据复制，即传统CPU复制步骤，因此可以减少系统的数据复制次数，使得CPU的资源在数据发送时不被占用。这样，系统里面只有一份数据，做到了真正的零拷贝。即数据在内存中只存在一份，消除了拷贝，从而节省了CPU资源。

采取网卡驱动程序主动发送数据的方式，各种数据头，例如IP(网际协议)、TCP(传输控制协议)、MAC(介质访问控制)和实际数据分离，可以避免了网络协议栈的操作。

此外，本发明通过mmap系统调用映射文件，可减少文件访问时间，控制数据发送时机和发送方式。并且，通过减少系统调用次数，从而减少上下文环境的切换次数，降低了CPU的使用率。

本发明考虑在不改变主机系统结构的条件下，在不增加硬件的前提下，以一种相对简单实用的方式，有效地提高主机的吞吐率，同时努力降低因此造成的过高的主机CPU占用率，使得有更多的CPU资源可以用于其它调度工作，从而优化主机网络性能。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims

1.一种主机网络性能优化方法，其特征在于，所述优化方法包括以下步骤：

将内核空间的预定内存划分为用户空间与内核空间的共享内存缓冲区；

根据应用程序的指令将磁盘中待发送数据读入所述共享内存缓冲区中，并写入所述待发送数据的对应发送信息；以及

网卡驱动程序主动查询所述共享内存缓冲区，以搜索待发送数据并结合所述发送信息进行发送。

2.如权利要求1所述的优化方法，其特征在于，所述待发送数据的读入步骤利用mmap系统调用。

3.如权利要求1所述的优化方法，其特征在于，所述网卡驱动程序为后缀为ko的模块。

4.如权利要求1所述的优化方法，其特征在于，所述共享内存缓冲区被影射为字符设备文件。

5.如权利要求1所述的优化方法，其特征在于，所述网卡驱动程序根据网卡完成数据发送的中断触发进行主动查询。

6.一种主机网络性能优化系统，其特征在于，所述优化系统包括：

内存划分模块，将内核空间的预定内存划分为用户空间与内核空间的共享内存缓冲区；

应用层调用模块，根据应用程序的指令将磁盘中待发送数据读入所述共享内存缓冲区中，并写入所述待发送数据的对应发送信息；

网卡驱动模块，主动查询所述共享内存缓冲区，以搜索待发送数据并结合所述发送信息进行数据发送。

7.如权利要求6所述的优化系统，其特征在于，所述应用层调用模块通过mmap系统调用读入所述待发送数据。

8.如权利要求6所述的优化系统，其特征在于，所述网卡驱动模块为后缀为ko的模块。

9.如权利要求6所述的优化系统，其特征在于，所述内存划分模块将所述共享内存缓冲区影射为字符设备文件。

10.如权利要求6所述的优化系统，其特征在于，所述网卡驱动模块根据网卡完成数据发送的中断触发进行主动查询。