CN102436400A

CN102436400A - 零拷贝驱动的实现方法和装置

Info

Publication number: CN102436400A
Application number: CN2011104028657A
Authority: CN
Inventors: 刘兴彬; 万伟; 王泼; 李博文; 陈科; 王清; 朱春屹; 杨锦涛; 李云华; 董建珊; 孙一鸣; 刘铁
Original assignee: Dawning Information Industry Co Ltd
Current assignee: Dawning Information Industry Co Ltd
Priority date: 2011-12-06
Filing date: 2011-12-06
Publication date: 2012-05-02

Abstract

本发明公开了一种零拷贝驱动的实现方法和装置，其中，该方法包括：该方法包括：对于每个应用，判断处理器的负载是否超过该应用所对应的负载阈值；在判断结果为是的情况下，确定该应用需要丢包。本发明通过对每个应用对应的负载以及处理器的负载进行判断，进而确定该应用是否需要丢包，能够根据不同应用实现不同的丢包判定，在保证处理器负载符合要求的情况下，尽可能保证优先级高的应用优先得到处理资源，优先级低的应用尽最大能力处理，避免所有从应用均无差别丢包的问题。

Description

零拷贝驱动的实现方法和装置

技术领域

本发明涉及通信领域，并且特别地，涉及一种零拷贝驱动的实现方法和装置。

背景技术

近年来，主干网网络带宽增加迅速，网络安全事件的种类和数量都呈现了指数性增长，由此可能需要多套针对不同安全事件的网络审计系统来应对。

但是，由于机房空间、散热、成本等因素的限制，因此通过无限增加服务器来运行新的业务系统和应对新增加的流量是难以实现的。为了实现多业务、大流量的处理，需要在一台服务器上运行多套业务系统。为了实现这种方案，需要零拷贝驱动提供对多应用的捕包及管理支持。

零拷贝驱动是在用户空间开辟一个共享内存区，通过内存映射机制，将网卡得到的数据直接放入用户空间中，从而避免了层层协议检测同时又避免了数据包从内核空间向用户空间的拷贝，因此，零拷贝驱动明显的提高了捕获数据包的效率。

随着网络的迅速发展，网络上各种新应用不断出现，在促进网络发展的同时也给网络监管带来越来越多的挑战。为了维护国家安全、保障网民的根本利益，涌现出了一大批针对不同类型防御对象的类IDS(入侵检测系统)。为提高类IDS系统的捕包效率，减少不必要的资源占用，曙光公司研发了支持主从应用的零拷贝驱动。

随着时间的推移，网络上安全事件的类型和数量不断增加，直接导致流量审计系统的类型越来越多，零拷贝驱动程序原有的主从应用思想已经不能满足一台服务器上部署多个审计系统的需要，迫切的需要零拷贝驱动支持多个应用，并且需要每个应用都可以独立的设置优先级，这样可以在计算和存储资源坚持时候尽量高优先级的应用多处理。

图1是相关技术中从应用和主应用的丢包和取包策略的原理图。如图1所示，当从应用1和/或从应用2(图1中的虚线所示)需要丢包的情况下，丢包的从应用需要在下次取包时去其他的指定位置(即，主应用的取包位置)进行取包。之前的零拷贝驱动虽然也考虑了对多应用的支持，但是，对于多应用的管理只采用了主从应用的管理思想，在这种主/从的管理方案中，主应用只有一个且具有最高优先级，而其他所有的从应用具有相同的优先级，这将会导致当一个从应用需要丢包时，其他的从应用同样会丢包，在大批量部署服务器的情况下，这种方案会导致大量的从应用无法正常工作。

针对相关技术中零拷贝驱动针对不同从应用进行无差别地丢包而导致大量应用无法正常进行的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中零拷贝驱动针对不同从应用进行无差别地丢包而导致大量应用无法正常工作的问题，本发明提出一种零拷贝驱动的实现方法和装置，能够根据不同应用实现不同的丢包判定，保证所有应用都可达到最大处理能力。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种零拷贝驱动的实现方法。

该方法包括：对于每个应用，判断处理器的负载是否超过该应用所对应的负载阈值；在判断结果为是的情况下，确定该应用需要丢包。

该方法可进一步包括：以预定周期获取处理器的负载；并且，在针对每个应用判断处理器的负载是否超过该应用所对应的负载阈值时，采用最近一次获取的处理器的负载进行判断。

其中，对于每个应用，在判断处理器的负载小于或等于应用所对应的负载阈值的情况下，则继续从该应用对应的位置获取该应用的数据包。

此外，在确定该应用需要丢包的情况下，该方法可进一步包括：禁止该应用从该应用对应的位置获取数据包。

并且，该方法还可以进一步包括：在禁止一个应用从该应用对应的位置获取数据包的预定时间段结束之后，重新判断处理器的负载是否超过该应用所对应的负载阈值。

其中，每个应用都预先设置有对应的负载阈值，该负载阈值取决于该应用的优先级。

根据本发明的另一方面，提供了一种零拷贝驱动的实现装置

该装置包括：判断模块，用于对于每个应用，判断处理器的负载是否超过该应用所对应的负载阈值；确定模块，用于在判断结果为是的情况下，确定该应用需要丢包。

该装置可进一步包括：获取模块，用于以预定周期获取处理器的负载；并且，在针对每个应用判断处理器的负载是否超过该应用所对应的负载阈值时，判断模块采用最近一次获取的处理器的负载进行判断。

该装置还可以进一步包括：取包模块，用于对于每个应用，在判断模块判断处理器的负载小于或等于应用所对应的负载阈值的情况下，继续从该应用对应的位置获取该应用的数据包。

该装置可以进一步包括：禁止模块，用于在确定一个应用需要丢包的情况下，禁止该应用从该应用对应的位置获取数据包。

该装置还可以进一步包括：定时器，用于在确定一个应用需要丢包之后开始计时；判断模块还用于在定时器的计时时间长度达到预定时间段的情况下，重新判断处理器的负载是否超过该应用所对应的负载阈值。

本发明通过对每个应用对应的负载以及处理器的负载进行判断，进而确定该应用是否需要丢包，能够根据不同应用实现不同的丢包判定，在保证处理器负载符合要求的情况下，尽可能保证优先级高的应用优先得到处理资源，优先级低的应用尽最大能力处理，避免所有从应用均无差别丢包的问题。

附图说明

图1是相关技术中从应用和主应用的丢包和取包策略的原理图；

图2是根据本发明实施例的零拷贝驱动的实现方法的流程图；

图3是根据本发明实施例的零拷贝驱动的实现方法的原理图；

图4是根据本发明实施例的零拷贝驱动的实现装置的框图。

具体实施方式

根据本发明的实施例，提供了一种零拷贝驱动的实现方法。

如图2所示，根据本发明实施例的零拷贝驱动的实现方法包括：

步骤S201，对于每个应用，判断处理器的负载是否超过该应用所对应的负载阈值；

步骤S203，在判断结果为是的情况下，确定该应用需要丢包。

其中，该方法可以进一步包括：以预定周期获取处理器的负载；并且，在针对每个应用判断处理器的负载是否超过该应用所对应的负载阈值时，采用最近一次获取的处理器的负载进行判断，从而保证每次判断时所参照的都是处理器的最近负载，保证判断的准确性。

对于每个应用，在判断处理器的负载小于或等于应用所对应的负载阈值的情况下，则继续从该应用对应的位置获取该应用的数据包。

在确定该应用需要丢包的情况下，该方法可进一步包括：禁止该应用从该应用对应的位置获取数据包。

该方法可以进一步包括：在禁止一个应用从该应用对应的位置获取数据包的预定时间段结束之后，重新判断处理器的负载是否超过该应用所对应的负载阈值。

如图3所示，对于每个应用，都有各自的正常取包位置，而当一个应用被判定为丢包的情况下，该应用仅更新下次取包的位置但不返回数据包。

此外，每个应用都预先设置有对应的负载阈值，该负载阈值取决于该应用的优先级。

因此，在实际实现中，可以在零拷贝驱动程序的周期性更新计数模块中增加对每个CPU核心的空闲状态的统计，这样每个CPU核心的空闲状态会以一秒为周期进行周期性更新，以保持相对最新的CPU负载。而每个应用(审计系统)可在主配置文件中独立设置丢包CPU阈值，假设某应用设置丢包CPU阈值是80(表示当CPU的负载超过80％的情况下，会判定该应用需要丢包)，当该应用运行时，在每次从共享缓冲区取数据包前都会判断当前线程所在的CPU核心的忙状态是否大于80(最高是100％)，若大于80则应用主动丢弃该数据包，然后进行CPU切换(即，该应用停止获取数据包)，等一个小时间片后再次取包，若应用取包时当前线程所在的CPU核心的忙状态小于80(即，负载小于80％)，则正常取包处理。忙状态的决定因素包括：用户态CPU占用率、系统态占用率、软中断占用率等等。这样可以通过控制应用取包进行优先级控制，高优先级的应用可以多取到数据包，低优先级的应用少取数据包以释放出更多的资源保证高优先级的应用多处理。

而已有的零拷贝驱动采用主从应用丢包思想，当一个从应用丢包时其它从应用一起丢包，灵活性不足。此外，已有的零拷贝驱动根据共享缓冲区空闲状态以决定从应用是否丢包，这样无法保证优先级高的应用优先处理，因为在缓冲区不满时主从应用公平的竞争CPU，当有多个从应用时，从应用连续抢占CPU会导致主应用抢占CPU不足而导致处理少，在大流量或有攻击流量的情况下导致缓冲区被迅速填满而出现短暂丢包。

本发明通过根据CPU阈值设定优先级的方法，可以时刻保证高优先级的应用有更多的机会抢占CPU，实时保证高优先级应用被优先处理。这样，通过根据CPU负载独立控制多应用优先级的方法，能够在资源紧张时低优先级应用主动让出处理资源，时刻保持高优先级应用优先处理的方法，使优先级高的应用得到快速响应处理。

根据本发明的实施例，还提供了一种零拷贝驱动的实现装置。

如图4所示，根据本发明实施例的零拷贝驱动的实现装置包括：

判断模块41，用于对于每个应用，判断处理器的负载是否超过该应用所对应的负载阈值；

确定模块42，连接至判断模块41，用于在判断结果为是的情况下，确定该应用需要丢包。

根据本发明的上述装置可以进一步包括：(CPU空闲状态)获取模块(未示出)，用于以预定周期获取处理器的负载；并且，在针对每个应用判断处理器的负载是否超过该应用所对应的负载阈值时，判断模块采用最近一次获取的处理器的负载进行判断。

该装置还可以进一步包括：取包模块(未示出)，用于对于每个应用，在判断模块判断处理器的负载小于或等于应用所对应的负载阈值的情况下，继续从该应用对应的位置获取该应用的数据包。

该装置还可以进一步包括：禁止模块(未示出)，用于在确定一个应用需要丢包的情况下，禁止该应用从该应用对应的位置获取数据包。

此外，该装置还可以进一步包括：定时器(未示出)，用于在确定一个应用需要丢包之后开始计时；判断模块还用于在定时器的计时时间长度达到预定时间段的情况下，重新判断处理器的负载是否超过该应用所对应的负载阈值。

综上所述，借助于本发明的上述技术方案，通过对每个应用对应的负载以及处理器的负载进行判断，进而确定该应用是否需要丢包，能够根据不同应用实现不同的丢包判定，在保证处理器负载符合要求的情况下，尽可能保证优先级高的应用优先得到处理资源，优先级低的应用尽最大能力处理，避免所有从应用均无差别丢包的问题，即使在大规模部署服务器的场景中，也能够合理地控制应用的取包和丢包。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种零拷贝驱动的实现方法，其特征在于，包括：

对于每个应用，判断处理器的负载是否超过该应用所对应的负载阈值；

在判断结果为是的情况下，确定该应用需要丢包。

2.根据权利要求1所述的实现方法，其特征在于，进一步包括：

以预定周期获取所述处理器的负载；

并且，在针对每个应用判断所述处理器的负载是否超过该应用所对应的负载阈值时，采用最近一次获取的所述处理器的负载进行判断。

3.根据权利要求1所述的实现方法，其特征在于，对于每个应用，在判断处理器的负载小于或等于应用所对应的负载阈值的情况下，则继续从该应用对应的位置获取该应用的数据包。

4.根据权利要求1所述的实现方法，其特征在于，在确定该应用需要丢包的情况下，所述方法进一步包括：

禁止该应用从该应用对应的位置获取数据包。

5.根据权利要求4所述的实现方法，其特征在于，进一步包括：

在禁止一个应用从该应用对应的位置获取数据包的预定时间段结束之后，重新判断所述处理器的负载是否超过该应用所对应的负载阈值。

6.根据权利要求1至5中任一项所述的实现方法，其特征在于，每个应用都预先设置有对应的负载阈值，该负载阈值取决于该应用的优先级。

7.一种零拷贝驱动的实现装置，其特征在于，包括：

判断模块，用于对于每个应用，判断处理器的负载是否超过该应用所对应的负载阈值；

确定模块，用于在判断结果为是的情况下，确定该应用需要丢包。

8.根据权利要求7所述的实现装置，其特征在于，进一步包括：

获取模块，用于以预定周期获取所述处理器的负载；

并且，在针对每个应用判断所述处理器的负载是否超过该应用所对应的负载阈值时，所述判断模块采用最近一次获取的所述处理器的负载进行判断。

9.根据权利要求7所述的实现装置，其特征在于，进一步包括：

取包模块，用于对于每个应用，在所述判断模块判断所述处理器的负载小于或等于应用所对应的负载阈值的情况下，继续从该应用对应的位置获取该应用的数据包。

10.根据权利要求7所述的实现装置，其特征在于，进一步包括：

禁止模块，用于在确定一个应用需要丢包的情况下，禁止该应用从该应用对应的位置获取数据包。

11.根据权利要求7所述的实现装置，其特征在于，进一步包括：

定时器，用于在确定一个应用需要丢包之后开始计时；

所述判断模块还用于在所述定时器的计时时间长度达到预定时间段的情况下，重新判断所述处理器的负载是否超过该应用所对应的负载阈值。