CN102156662A - 一种数据处理方法和设备 - Google Patents

Abstract

本发明公开了一种数据处理方法和设备，该方法包括：根据关键任务的处理时间信息确定定时器中断时间信息；并根据所述定时器中断时间信息对数据进行处理。本发明实施例中，在网络高负载下，对Linux中关键任务的实时性能影响小，保证关键任务的处理性能。

Description

一种数据处理方法和设备

技术领域

本发明涉及通信技术领域，尤其涉及一种数据处理方法和设备。

背景技术

性能问题是操作系统的重要方面，Linux在网络处理方面的优势非常明显。其中，Linux具有完善的TCP（Transmission Control Protocol，传输控制协议）/IP（Internet Protocol，网络互连协议）协议栈的支持，支持大多数网卡设备，而且网络子系统架构中的Linux对新增的网卡设备驱动和自定义的协议开发，均提供了良好的接口，从而使得软件开发人员即使不了解Linux内核，也能够进行软件开发。

现有技术中，NAPI（New Application Interface，Linux基于轮询方式的以太处理接口；Linux上采用的一种提高网络处理效率的技术）技术是Linux用于提高网络性能的有效方式，由于高频率的中断可能会影响系统的整体效率，因此在网络繁忙时，NAPI采用轮询方式来替换每次数据包到达时引发的中断。而由于中断处理位于操作系统临界区，因此可减少中断次数，尤其是在高负载时，NAPI可以明显增加Linux对实时任务的响应性能。

另外，Linux还采用了softirq（软中断）机制，将以太驱动中耗时的操作（如BD缓冲区管理）、向协议栈提交数据包等操作推迟到软中断任务，从而缩短中断处理时间，改善Linux的实时性能。

在实现本发明的过程中，发明人发现现有技术中至少存在以下问题：

NAPI技术在网络高负载时，减少以太中断发生的次数，虽可以减小网络对系统实时性能的影响，但是网卡中断的随机性，会对某些具有严格实时性要求的任务产生影响。

发明内容

本发明实施例提供一种数据处理方法和设备，以保证关键任务的处理性能，从而提高系统性能。

为了达到上述目的，本发明实施例提供一种数据处理方法，包括：

根据关键任务的处理时间信息确定定时器中断时间信息；并根据所述定时器中断时间信息对数据进行处理。

本发明实施例提供一种数据处理设备，包括：

确定模块，用于根据关键任务的处理时间信息确定定时器中断时间信息；

处理模块，用于根据所述定时器中断时间信息对数据进行处理。

与现有技术相比，本发明至少具有以下优点：

在网络高负载下，对Linux中关键任务的实时性能影响小，保证关键任务的处理性能。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一中原理框图；

图2是本发明实施例一提供的一种数据处理方法流程示意图；

图3是本发明实施例一中循环缓冲队列的示意图；

图4是本发明实施例二提供的一种数据处理设备结构示意图。

具体实施方式

现有技术中，Linux内核在网络协议栈的发送和接收路径上，均有相应的减小CPU（Central Processing Unit，中央处理器）负载的技术；在TCP发送路径上，LSO（Large segment offload，大段载荷）和GSO（Generic Segmentation Offload，普通分段载荷）将大块TCP缓冲区推送到网卡，之后通过网卡分包功能，或在调用驱动发送接口时分包，来减轻协议栈负荷。同样的，在TCP接收路径上，通过LRO（Large Receive Offload，大段接收载荷）和GRO（Generic Receive Offload，普通接收载荷）将多个数据包聚合成一个大包，然后传递给协议栈处理。

但是，（1）Linux现有的TCP/IP网络协议栈位于内核空间，进行协议栈开发难度大，出问题后调试困难。（2）Linux基于socket（套接字）的网络应用程序的开发，每次数据收发，均要进行内核态和用户态切换，且伴随大量数据拷贝操作。（3）Linux自身提供的netfilter（防火墙）接口，对网络数据包过滤分类效率较低，过滤匹配规则复杂，缺乏灵活性。

针对现有技术的问题，本发明实施例提供一种数据处理方法和设备，在Linux操作系统原有NIC（Netware Interface Card，网络接口卡）驱动和TCP/IP协议栈之上，实现了一种增强Linux网络性能的驱动扩展架构，从而使得Linux系统的实时性不受网络流量负载的影响；Linux以太驱动扩展接口支持用户空间协议栈，可减小在Linux内核空间进行新协议开发和调试难度；Linux网络应用程序直接从以太驱动接口收发数据包，减小采用socket 接口产生的协议栈处理开销，优化网络吞吐率；Linux以太驱动实现一个轻量级的网络匹配过滤架构，实现对数据包分类、抄送和优先级控制功能。

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例一提供一种数据处理方法，如图1所示的原理框图，通过修改Linux以太驱动代码，可支持Linux TCP/IP协议栈和多个用户空间协议栈。如图2所示，在数据（即数据包）接收方向上，该数据处理方法包括以下步骤：

步骤201，根据关键任务的处理时间信息确定定时器中断时间信息。

本发明实施例中，为了保证关键任务（即高优先级任务）的处理性能，保证关键任务的实时性，在确定定时器中断时间信息时，需要避开关键任务的处理时间信息。

例如，关键任务1的处理时间信息为时间点1进行处理，关键任务2的处理时间信息为时间点2进行处理，关键任务3的处理时间信息为时间点3进行处理，在产生定时器中断时，产生定时器中断的时间需要避开时间点1、时间点2、和时间点3；实际应用中可通过调节的方式来避开时间点1、时间点2、和时间点3。

本发明实施例中，为了尽可能提高Linux在网络高负载下，关键任务的实时性，在将网卡中断线程化的同时，可采用定时器中断方式替代以太网卡产生中断，打包处理以太网卡的数据收发。其中，中断线程化是指将以太驱动中耗时的部分放到进程上下文中运行，从而使得以太中断底半部的处理变成可抢占的，网络负载对Linux实时性的影响变小。

具体的，由于以太网卡中断的产生具有随机性，对于某些对时序有严格要求的任务（即关键任务），不可避免的会受到影响。因此本发明实施例中采用定时器中断替换以太网卡产生中断，定时器中断可以预测关键任务运行的时间点，动态调整中断发生的时刻，从而避开与关键任务的冲突，减小对关键任务的影响。

步骤202，根据定时器中断时间信息对数据进行处理。其中，在硬件接收到新数据包后，通过DMA（Dynamic Memory Access，动态内存存取）传递到内存的接收队列。之后，在到达定时器中断时间时，以太驱动将数据包从接收队列中取出，并进行相应处理。

本发明实施例中，对数据进行相应处理的方式包括：（1）当取出数据后，通过规则过滤器的关键字段对数据进行匹配，并在数据符合匹配规则时，发送该数据。（2）为每个port绑定一组规则过滤器，当取出数据后，通过规则过滤器的关键字段对数据进行匹配，当数据符合其中一个规则过滤器的匹配规则时，将数据发送给该规则过滤器对应的port。

具体的，在通过规则过滤器的匹配时，如果数据待发送给Linux标准协议栈，则调用Linux协议栈接口发送该数据。否则，将数据存储到循环缓冲队列，唤醒在当前循环缓冲队列上等待的用户空间接收任务，并将数据从循环缓冲队列复制到用户态缓冲区。此时，以太驱动面向用户空间任务展示的是多个独立的port（0，1，2…），每个port对应了一组匹配规则，规则过滤器依据规则对数据包分类。

以下对规则过滤器、循环缓冲队列和用户空间port接口进行详细说明：

（1）规则过滤器。本发明实施例中，规则过滤器具有可扩展性和高效性，规则过滤器通过采用多级匹配模型，并结合HASH（散列）算法，实现复杂度为0（1）的匹配模型，以实现规则过滤器的可扩展性和高效性。

针对规则过滤器的可扩展性，port是应用程序接收数据的抽象接口，每个port绑定了一组规则过滤器，数据包只要符合其中一个规则过滤器的匹配规则，则被送到对应的port。进一步的，在规则过滤器中，匹配规则被分解为多个匹配域，每个匹配域由偏移地址，位掩码和匹配域长度来描述，数据包需要符合各个匹配域的匹配规则。

例如，用户空间协议栈处理源端口号从4000~5000之间的UDP（User Datagram Protocol，用户数据包协议）包，对于上述应用需求，UDP过滤器需要配置二个匹配域，第一个匹配域是UDP协议字段，第二个匹配域是源端口字段；如果用户空间协议栈还需要处理ARP（Address Resolution Protocol，地址解析协议）包，则另外添加一个ARP过滤器。

由上可以看出，在本发明实施例中，每个port对应一组规则过滤器，数据包只要符合其中一个规则过滤器的匹配规则，则被送到对应的port，从而实现规则过滤器的并行设置；针对每个规则过滤器，匹配规则被分解为多个匹配域，数据包需要符合各个匹配域的匹配规则，从而实现规则过滤器的串行设置；从而实现规则过滤器的可扩展性。

针对规则过滤器的高效性，特征值匹配采用了HASH算法来减小CPU处理开销。在初始化阶段，先构建一张16x16的字符串HASH表，分别对应了0~255个字符的HASH值，从而将计算HASH转换为查表和加法运算以进一步降低开销。另外，初始化阶段，每一条匹配规则通过HASH算法获取一个唯一值，将该唯一值为下标散列到一个数组中。本发明实施例中，当网卡驱动接收数据包后，规则过滤器通过匹配域的偏移地址，匹配域的位掩码和匹配域的长度，提取数据包的特征值，通过查表计算HASH值，作为数值下标，并将特征值和规则做一次精确匹配，即可获得匹配结果。

（2）循环缓冲队列。本发明实施例中，循环缓冲队列由一个循环Buffer（缓冲器）数组和若干个数组索引（数组索引Fetch、Ready和Temp等）组成；Buffer数组的每个元素存储了指向具体数据的指针；队列的读写位置分别由Fetch、Ready和Temp三个索引来控制，索引Fetch表示当前循环缓冲队列可出队数据的位置F，索引Ready表示当前循环缓冲队列可用数据位置R，索引Temp表示当前循环缓冲队列可入队数据位置T。

如图3所示的循环缓冲队列的示意图，如果F等于R，表示当前循环缓冲队列为空；在到达中断时间时，数据进入循环缓冲队列，临时指针T向前移动；当中断处理完接收队列中所有数据后，更新R=T；当唤醒用户空间接收任务时，可以依次从循环缓冲队列中获取（R-F）个数据，并更新F。

本发明实施例中，Temp索引的引入可以达到免锁的效果，不需要再引入其他同步手段，提高了缓冲区读写效率；而且这种循环缓冲队列可适用于只有一个任务进行出队或入队的操作。

（3）用户空间port接口。本发明实施例中，用户空间port接口采用Linux字符设备驱动ioctl系统调用封装而成，包括添加、删除匹配规则，发送、接收数据包四个接口。其中，为了减少以太在发送、接收路径上，内核态和用户态切换的次数，port接口均支持一次处理多个数据包。

具体的，用户态、内核态的数据传输，可采用内存映射的方式实现零拷贝；在循环缓冲队列中，可保存数据包缓冲区的描述符。

另外，需要注意的是，本发明实施例中，在数据发送方向上，由用户空间任务（发送任务）将数据包（待发送数据）封装成标准的以太帧，通过直接调用以太驱动的封装接口，将以太帧拷贝到内核空间后，加入以太网卡的发送队列。

综上所述，本发明实施例中，实现了一种增强Linux网络性能的驱动扩展架构，使得Linux系统的实时性不受网络流量负载的影响；Linux以太驱动扩展接口支持用户空间协议栈，可减小在Linux内核空间进行新协议开发和调试难度；Linux网络应用程序直接从以太驱动接口收发数据包，减小采用socket 接口产生的协议栈处理开销，优化网络吞吐率；Linux以太驱动实现一个轻量级的网络匹配过滤架构，实现对数据包分类、抄送和优先级控制功能。

进一步的，在网络高负载下，对Linux实时性能影响小；扩展了Linux以太驱动功能，方便在Linux上实现对多协议栈应用支持，而且可实现网络抓包、数据抄送等应用；对硬件需求小，只需对Linux以太驱动做少量修改，具有良好的可移植性；良好的模块划分，灵活可配置，扩展性强。

实施例二

基于与上述方法同样的发明构思，本发明实施例中还提供了一种数据处理设备，如图4所示，该设备包括：

确定模块11，用于根据关键任务的处理时间信息确定定时器中断时间信息；

处理模块12，用于根据所述定时器中断时间信息对数据进行处理。

所述确定模块11，具体用于在确定所述定时器中断时间信息时，避开所述关键任务的处理时间信息。

所述处理模块12，具体用于当接收到数据后，将所述数据存储到接收队列；在到达所述定时器中断时间时，从所述接收队列中取出所述数据进行处理。

所述处理模块12，进一步用于当取出所述数据后，通过规则过滤器的关键字段对所述数据进行匹配，并在所述数据符合匹配规则时，发送所述数据。

所述处理模块12，具体用于如果所述数据待发送给Linux标准协议栈，则调用Linux协议栈接口发送所述数据；否则，将所述数据存储到循环缓冲队列，唤醒在当前循环缓冲队列上等待的用户空间接收任务，并将所述数据从所述循环缓冲队列复制到用户态缓冲区。

本发明实施例中，所述循环缓冲队列由一个循环Buffer数组和数组索引Fetch、Ready和Temp组成；所述Buffer数组的每个元素存储了指向具体数据的指针；索引Fetch表示当前循环缓冲队列可出队数据的位置F，索引Ready表示当前循环缓冲队列可用数据位置R，索引Temp表示当前循环缓冲队列可入队数据位置T；

如果F等于R，表示当前循环缓冲队列为空；在到达所述定时器中断时间时，数据进入循环缓冲队列，临时指针T向前移动；当处理完接收队列中所有数据后，更新R=T；当唤醒用户空间接收任务时，依次从循环缓冲队列中获取（R-F）个数据，并更新F。

所述处理模块12，进一步用于为每个port绑定一组规则过滤器，当取出所述数据后，通过规则过滤器的关键字段对所述数据进行匹配；当所述数据符合其中一个规则过滤器的匹配规则时，将所述数据发送给该规则过滤器对应的port。

本发明实施例中，所述处理模块12，还用于通过用户空间发送任务将待发送数据封装成以太帧，通过调用以太驱动的封装接口将该以太帧复制到内核空间，并存储到以太网卡的发送队列。

其中，本发明装置的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (16)

1.一种数据处理方法，其特征在于，包括：

根据关键任务的处理时间信息确定定时器中断时间信息；并根据所述定时器中断时间信息对数据进行处理。

2.如权利要求1所述的方法，其特征在于，根据关键任务的处理时间信息确定定时器中断时间信息，包括：

在确定所述定时器中断时间信息时，避开所述关键任务的处理时间信息。

3.如权利要求1所述的方法，其特征在于，根据所述定时器中断时间信息对数据进行处理，包括：

当接收到数据后，将所述数据存储到接收队列；

在到达所述定时器中断时间时，从所述接收队列中取出所述数据进行处理。

4.如权利要求3所述的方法，其特征在于，从所述接收队列中取出所述数据进行处理，包括：

当取出所述数据后，通过规则过滤器的关键字段对所述数据进行匹配，并在所述数据符合匹配规则时，发送所述数据。

5.如权利要求4所述的方法，其特征在于，发送所述数据，包括：

如果所述数据待发送给Linux标准协议栈，则调用Linux协议栈接口发送所述数据；

否则，将所述数据存储到循环缓冲队列，唤醒在当前循环缓冲队列上等待的用户空间接收任务，并将所述数据从所述循环缓冲队列复制到用户态缓冲区。

6.如权利要求5所述的方法，其特征在于，

所述循环缓冲队列由一个循环Buffer数组和数组索引Fetch、Ready和Temp组成；所述Buffer数组的每个元素存储了指向具体数据的指针；索引Fetch表示当前循环缓冲队列可出队数据的位置F，索引Ready表示当前循环缓冲队列可用数据位置R，索引Temp表示当前循环缓冲队列可入队数据位置T；

如果F等于R，表示当前循环缓冲队列为空；在到达所述定时器中断时间时，数据进入循环缓冲队列，临时指针T向前移动；当处理完接收队列中所有数据后，更新R=T；当唤醒用户空间接收任务时，依次从循环缓冲队列中获取（R-F）个数据，并更新F。

7.如权利要求3所述的方法，其特征在于，从所述接收队列中取出所述数据进行处理，包括：

为每个port绑定一组规则过滤器，当取出所述数据后，通过规则过滤器的关键字段对所述数据进行匹配；

当所述数据符合其中一个规则过滤器的匹配规则时，将所述数据发送给该规则过滤器对应的port。

8.如权利要求1所述的方法，其特征在于，该方法进一步包括：

用户空间发送任务将待发送数据封装成以太帧，通过调用以太驱动的封装接口将该以太帧复制到内核空间，并存储到以太网卡的发送队列。

9.一种数据处理设备，其特征在于，包括：

确定模块，用于根据关键任务的处理时间信息确定定时器中断时间信息；

处理模块，用于根据所述定时器中断时间信息对数据进行处理。

10.如权利要求9所述的设备，其特征在于，

所述确定模块，具体用于在确定所述定时器中断时间信息时，避开所述关键任务的处理时间信息。

11.如权利要求9所述的设备，其特征在于，

所述处理模块，具体用于当接收到数据后，将所述数据存储到接收队列；

在到达所述定时器中断时间时，从所述接收队列中取出所述数据进行处理。

12.如权利要求11所述的设备，其特征在于，

所述处理模块，进一步用于当取出所述数据后，通过规则过滤器的关键字段对所述数据进行匹配，并在所述数据符合匹配规则时，发送所述数据。

13.如权利要求12所述的设备，其特征在于，

所述处理模块，具体用于如果所述数据待发送给Linux标准协议栈，则调用Linux协议栈接口发送所述数据；

否则，将所述数据存储到循环缓冲队列，唤醒在当前循环缓冲队列上等待的用户空间接收任务，并将所述数据从所述循环缓冲队列复制到用户态缓冲区。

14.如权利要求13所述的设备，其特征在于，

所述循环缓冲队列由一个循环Buffer数组和数组索引Fetch、Ready和Temp组成；所述Buffer数组的每个元素存储了指向具体数据的指针；索引Fetch表示当前循环缓冲队列可出队数据的位置F，索引Ready表示当前循环缓冲队列可用数据位置R，索引Temp表示当前循环缓冲队列可入队数据位置T；

如果F等于R，表示当前循环缓冲队列为空；在到达所述定时器中断时间时，数据进入循环缓冲队列，临时指针T向前移动；当处理完接收队列中所有数据后，更新R=T；当唤醒用户空间接收任务时，依次从循环缓冲队列中获取（R-F）个数据，并更新F。

15.如权利要求11所述的设备，其特征在于，

所述处理模块，进一步用于为每个port绑定一组规则过滤器，当取出所述数据后，通过规则过滤器的关键字段对所述数据进行匹配；

当所述数据符合其中一个规则过滤器的匹配规则时，将所述数据发送给该规则过滤器对应的port。

16.如权利要求9所述的设备，其特征在于，

所述处理模块，还用于通过用户空间发送任务将待发送数据封装成以太帧，通过调用以太驱动的封装接口将该以太帧复制到内核空间，并存储到以太网卡的发送队列。

Images