CN104753814A

CN104753814A - 基于网卡的报文分流处理方法

Info

Publication number: CN104753814A
Application number: CN201310751648.8A
Authority: CN
Inventors: 鲁松; 周立; 邹昕; 于林涛; 秦德楼; 任晓瑶; 杜建明; 原万万; 张家琦; 彭义刚
Original assignee: Hangzhou DPTech Technologies Co Ltd; National Computer Network and Information Security Management Center
Current assignee: Hangzhou DPTech Technologies Co Ltd; National Computer Network and Information Security Management Center
Priority date: 2013-12-31
Filing date: 2013-12-31
Publication date: 2015-07-01
Anticipated expiration: 2033-12-31
Also published as: CN104753814B

Abstract

本发明提供一种基于网卡的报文分流处理方法，应用于网络服务器，包括：服务器控制核根据内存拆分算法，将共享内存拆分成多个内存块，并将共享内存基地址、内存块数量以及内存块大小发送给网卡；网卡从外部接收到报文后，网卡控制核根据调度算法，确定传送该报文的网卡数据核编号和对应存放该报文的内存块编号，并将该内存块编号发送给对应的网卡数据核；网卡数据核从网卡控制核接收到内存块编号后，根据所述共享内存基地址、内存块编号以及内存块大小，计算出存放该报文的内存块地址，将报文存入该内存块。本发明能够有效提升网络服务器中网卡多核CPU的利用率，避免了网卡多核CPU的资源浪费，真正实现网卡多核CPU对共享内存的并行访问。

Description

基于网卡的报文分流处理方法

技术领域

本发明涉及网络数据处理领域，尤其涉及一种基于网卡的报文分流处理方法。

背景技术

伴随当今互联网网络环境的普及和网络流量的瞬间暴涨，网络服务器作为一种为用户提供共享信息资源和各种服务的高性能网络设备，其处理网络数据的能力显得尤为重要。

网卡作为网络服务器的网络接口部件，负责接收和处理网络数据，其网络数据处理能力决定了网络服务器的性能。随着多核CPU技术在网卡上的应用，其并行处理数据的方式大大提升了网络数据的处理速度。

在现有具体实现方式中，服务器给网卡分配了一块共享内存,当网卡接收到报文后，网卡多核CPU根据哈希算法得到传送该报文的目的CPU,该目的CPU将报文写入共享内存。在此过程中，目的CPU对共享内存的访问，需进行加锁操作，防止其他CPU访问共享内存。目的CPU完成对共享内存的访问后，将对共享内存执行解锁操作，释放对共享内存的控制，此时，其他CPU才可以访问此共享内存。

综上所述，从宏观上看是进行了并行数据处理，但是从微观上看实际各CPU对于共享内存的访问都是串行的。这种串行的访问方式降低了CPU的利用率，导致CPU资源的浪费，从而限制了网络数据的处理能力。

发明内容

有鉴于此，本发明提供一种基于网卡的报文分流处理方法，应用于网络服务器，该服务器包括第一多核CPU、网卡以及共享内存，其中，网卡包括第二多核CPU，其中第一多核CPU包括第一控制核以及多个第一数据核；所述第二多核CPU包括第二控制核以及多个第二数据核，其特征在于，该方法包括以下步骤：

步骤A，第一控制核根据内存拆分算法，将共享内存拆分成多个内存块，并将共享内存基地址、内存块数量以及内存块大小发送给网卡，其中，内存块的数量不小于第一数据核的数量；

步骤B，网卡从外部接收到报文后，第二控制核根据预定调度算法确定传送该报文的第二数据核编号以及对应存放该报文的内存块编号，并将该内存块编号发送给对应的传送该报文的第二数据核；

步骤C，第二数据核从第二控制核接收到内存块编号后，根据所述共享内存基地址、内存块编号以及内存块大小，计算出存放该报文的内存块地址，将报文存入该内存块。

本发明能够有效提升网络服务器中网卡多核CPU的利用率，避免了网卡多核CPU的资源浪费，真正实现了网卡多核CPU对共享内存的并行访问。

附图说明

图1是本发明一种实施方式中网络服务器内部基础硬件环境的示意图。

图2是本发明一种实施方式中基于网卡的报文分流处理方法的流程图。

图3是本发明一种实施方式中基于网卡的报文分流实施例的流程图。

具体实施方式

以下结合附图对本发明进行详细描述。

在一种较佳的实施方式中，本发明提供一种基于软件实施方式实现的基于网卡的报文分流处理方法，该方法应用于网络服务器上，本发明并不排除诸如硬件或者逻辑器件等其他实现方式。如图1所示，该网络服务器通常包括多核CPU、共享内存、网卡以及其他硬件，该网卡又包括多核CPU和其他硬件。该基于网卡的报文分流处理方法通过所述网络服务器硬件、服务器多核CPU上运行的驱动程序以及网卡多核CPU上运行的驱动程序配合实现。请参考图2，该方法的实现包括以下步骤：

步骤101，服务器控制核根据内存拆分算法，将共享内存拆分成多个内存块，并将共享内存基地址、内存块数量以及内存块大小发送给网卡，其中，内存块的数量不小于服务器数据核的数量；

步骤102，网卡从外部接收到报文后，网卡控制核根据调度算法，确定传送该报文的网卡数据核编号和对应存放该报文的内存块编号，并将该内存块编号发送给对应的网卡数据核；

步骤103，网卡数据核从网卡控制核接收到内存块编号后，根据所述共享内存基地址、内存块编号以及内存块大小，计算出存放该报文的内存块地址，将报文存入该内存块。

上述服务器多核CPU和网卡多核CPU均包括一个控制核和多个数据核。在所述基于网卡的报文分流处理方法中，控制核用于运行驱动程序，并控制、管理其对应的数据核进行业务处理；数据核专注于数据处理。

现以具体实施例来说明该基于网卡的报文分流处理方法的实现过程，请参考图3。在一种优选的方式中，假设服务器多核CPU包括1个控制核和4个数据核，并分别称为服务器控制核、服务器数据核0、服务器数据核1、服务器数据核2以及服务器数据核3。假设网卡多核CPU包括1个控制核和2个数据核，并分别称为网卡控制核、网卡数据核0以及网卡数据核1。同时，服务器控制核为网卡开辟了一块共享内存，用于存放网卡从外部接收的报文。

为了实现网卡多核CPU对共享内存的并行访问，服务器控制核需将共享内存拆分成多个内存块，优选地，每个内存块的大小相等。服务器控制核拆分内存块的数量取决于服务器数据核的数量，根据公式y=x*2ⁿ求得，其中，x为服务器数据核的数量，n为大于或等于0的整数，y为可拆分内存块数量。此拆分内存算法充分考虑了服务器侧和网卡侧对共享内存的需求，因为服务器多核CPU处理的任务量很大，通常服务器多核CPU的数据核数量不少于网卡多核CPU的数据核数量，所以根据服务器数据核数量计算的内存块数量可以满足网卡对内存的访问需求。在一种较优的实施方式中，取n等于0，则y=x。由此可看出，当n为大于或等于0的整数时，内存块数量不小于服务器数据核的数量。如图3所示，服务器数据核的数量为4，则n=0时，服务器控制核拆分共享内存的数量为4，分别编号为内存块0、内存块1、内存块2以及内存块3。共享内存拆分完成后，服务器控制核会将整个共享内存的基地址、内存块的数量以及内存块的大小发送给网卡，以便网卡多核CPU访问共享内存使用。

当网卡从外部接收到报文时，根据预定调度算法，确定传送该报文的网卡数据核编号和对应存放该报文的内存块编号。优选地，该预定调度算法为同源同宿分担算法，但不局限于此算法。该算法在Linux操作系统中的实现方式如下：

sip=sip^dip;//计算源IP地址

dip=sip;//计算目的IP地址

CRC=jhash_3words(sip,(sip|(dip<<16)),0,0x5123598);//计算哈希值

Ring_id=CRC%Ring_num;//根据哈希值得到存放报文的内存块编号

dst_vc=Ring_id%CPU_num;//根据内存块编号得到传送该报文的网卡数据核

编号

其中，sip为发送报文的源IP地址，dip为接收报文的目的IP地址，当网卡接收到报文后，网卡控制核从接收的报文中获得源IP地址和目的IP地址，通过将sip与dip异或后，得到新的sip与dip，此操作可保证报文的同源同宿，即具有相同异或值的两个IP地址间的报文传送由同一网卡数据核完成，并存入同一内存块。然后，将新的sip与dip代入Linux内核函数jhash_3words得到哈希值CRC，此哈希函数用于保证报文在网卡数据核和内存上的均匀分布。上述算法在得到哈希值CRC后，利用此哈希值CRC对内存块数量Ring_num取余，得到存放该报文的内存块编号Ring_id，并利用此内存块编号Ring_id对网卡数据核数量CPU_num取余，得到传送该报文的网卡数据核编号dst_vc，网卡控制核根据此网卡数据核编号，将上述内存块编号发送给该网卡数据核。

如图3所示，假设一个报文从源IP地址192.168.14.10发送到目的IP地址192.168.22.22。根据上述算法，首先将IP地址转换为十六进制数，则sip为0xc0a80e0a，dip为0xc0a81616，将sip与dip异或后，得到新的sip与dip，均为0x181c，代入哈希函数jhash_3words，得到哈希值CRC为0x6991997a，此实施例中内存块数量Ring_num为4，通过CRC对Ring_num取余，得到内存块编号Ring_id为2，即该报文应存放到内存块2中，利用该内存块编号2，对网卡数据核数量CPU_num取余，在此实施例中网卡数据核数量CPU_num为2，计算可得网卡数据核编号dst_vc为0，即传送该报文的网卡数据核为网卡数据核0。因此，可以得出，从源IP地址192.168.14.10发送到目的IP地址192.168.22.22的报文通过网卡数据核0发送到内存块2中存放。通过此调度算法，仅可得出存放该报文的内存块编号为2，网卡控制核将此内存块编号2发送该网卡数据核0，由网卡数据核0确定存放该报文的内存块2的地址。

在网卡数据核0接收到存放报文的内存块编号后，网卡数据核0根据该内存块编号以及服务器控制核分配的共享内存的基地址和内存块大小，计算出存放该报文的内存块地址，将报文存入该内存块，从而完成整个报文的接收过程。

通过重复上述报文接收过程，每一个报文通过指定的数据核存入该数据核对应的某一个内存块中。由于网卡数据核的确定是通过内存块编号对网卡数据核数量取余得到的，因此，在上述实施例中，内存块0和内存块2是通过数据核0访问的，内存块1和内存块3是通过数据核1访问的。每一个数据核对内存块的访问不会出现重叠，进而实现了网卡多核CPU对共享内存的并行访问。而对于服务器的多核CPU而言，事实上共享内存的划分对其处理没有影响，因为报文都在共享内存中，其可以按照现有技术一样进行处理。所谓的内存块编号只对网卡多核CPU有意义。

在上述实施例中，通过将共享内存拆分成多个内存块，避免了多核CPU对单一共享内存的互斥访问，使得各数据核对内存块的访问互不干扰，真正实现了多核CPU的并行数据处理。同时，所采用的调度算法，进一步保证了报文处理过程中的同源同宿及负载均衡。综上所述，采用本发明的实现，能够有效提升网络服务器中网卡多核CPU的利用率，避免了网卡多核CPU的资源浪费，提高了网络数据的处理能力。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种基于网卡的报文分流处理方法，应用于网络服务器，该服务器包括第一多核CPU、网卡以及共享内存，其中，网卡包括第二多核CPU，其中第一多核CPU包括第一控制核以及多个第一数据核；所述第二多核CPU包括第二控制核以及多个第二数据核，其特征在于，该方法包括以下步骤：

2.如权利要求1所述的方法，其特征在于，所述多个内存块大小相等。

3.如权利要求1所述的方法，其特征在于，步骤A中所述内存拆分算法具体为：

y=x*2ⁿ

其中，

x为第一数据核的数量；

n为大于或等于0的整数；

y为可拆分内存块数量。

4.如权利要求1所述的方法，其特征在于：步骤B中所述预定调度算法为同源同宿分担算法。

5.如权利要求1所述的方法，其特征在于，步骤B中所述预定调度算法具体为:

求所述报文中的两个报文特征的异或值，将该异或值作为哈希函数参数，计算出哈希值，利用该哈希值对所述内存块数量取余，得到存放该报文的内存块编号；并利用该内存块编号对所述第二数据核的数量取余，得到传送该报文的第二数据核编号。

6.如权利要求5所述的方法，其特征在于：所述报文特征为源IP地址和目的IP地址。