CN110995678B - 一种面向工控网络的高效入侵检测系统 - Google Patents

Abstract

本发明提出一种面向工控网络的高效入侵检测系统，包括数据包捕获系统，数据包解析系统和基于TensorFlow的检测系统，所述数据包捕获系统采用DPDK进行数据包捕获，然后数据包解析系统将捕获的数据包进行层层解析，提取特征入队到共享内存中；所述基于TensorFlow的检测系统加载离线训练的模型，不断从共享内存中取出特征作为输入进行检测，最后把检测结果上送至Web端。

Description

一种面向工控网络的高效入侵检测系统

技术领域

本发明涉及一种入侵检测系统，尤其涉及一种面向工控网络的高效入侵检测系统。

背景技术

随着德国的“工业4.0”、美国的“再工业化”风潮等国家战略的推出，以及云计算、大数据、人工智能、物联网等新一代信息技术与制造技术的加速融合，工业控制系统由从原始的封闭独立走向开放、由单机走向互联、由自动化走向智能化。在工业企业获得巨大发展动能的同时,也出现了大量安全隐患，伊朗核电站遭受“震网”病毒攻击事件、乌克兰电网遭受持续攻击事件和委内瑞拉大规模停电事件等更为我们敲响了警钟。工控系统作为国家关键基础设施的重要组成部分，其安全关系到国家的战略安全、社会稳定，工业控制系统安全具有重大的意义与价值。

入侵检测系统作为维护网络安全的重要网络安全产品，也常常用于工业场景中，来检测攻击。传统入侵检测系统采用基于规则的方法，所谓规则是指恶意程序的签名和对恶意行为的描述，与规则相匹配的程序代码或网络行为会被检测为攻击。从实际应用情况来看，基于规则的入侵检测系统可以有效防御已知攻击方面，但由于基于规则只能使用固定的特征模式来检测入侵，对做过变形的攻击无法检测，因此容易被逃避检测。除此之外，基于规则的入侵检测对于新型攻击也素手无策。

现有技术中，基于异常的入侵检测方法主要采用机器学习的方法，通过大量流量数据的学习，然后使用训练好的机器学习模型检测入侵行为。与规则检测相比，基于异常的检测方法难以被认为的绕过，在一定程度上提升了入侵检测的能力，但目前对于机器学习在入侵检测中的应用，大多数关注于算法，缺少可以方便加载机器学习模型的检测引擎。

发明内容

本发明提出一种面向工控网络的高效入侵检测系统，包括数据包捕获系统，数据包解析系统和基于TensorFlow的检测系统，所述数据包捕获系统采用DPDK进行数据包捕获，然后数据包解析系统将捕获的数据包进行层层解析，提取特征入队到共享内存中；所述基于TensorFlow的检测系统加载离线训练的模型，不断从共享内存中取出特征作为输入进行检测，最后把检测结果上送至Web端。

进一步，所述数据包捕获系统使用Intel DPDK进行抓包的方式为轮询驱动方式，并通过设置CPU亲和性，将数据包处理线程绑定到固定核心。

进一步，所述数据包捕获系统采用无锁结构，数据包队列缓存和包括两个线程之间的数据交换均采用无锁队列进行数据交换。

进一步，所述数据包捕获系统实现两种线程模型，包括多线程模型和Pipeline模型，所述多线程模型适用于网卡或者网卡队列较多且流量比较均衡的场景，首个模块完成抓包，其他模块依次处理，直至最后上报警报信息；所述Pipeline模型，Pipeline模型适用于网卡或者网卡队列较少，对于同一个网卡队列，只用一个线程去取回数据包。

进一步，所述数据包解析系统采用插件式的报文解析模块，将不同的处理功能按照统一的结构化的模板封装成具有相同接口的插件类，所述插件类被编译为不同的动态链接库，在需要调用时加载，然后程序按照配置文件加载相应的插件式的报文解析模块。

进一步，所述插件化的报文协议解析模块包括协议识别函数和协议解析函数；所述协议识别函数进行识别数据包的具体协议，对于工控协议通过识别特定字段或者识别特定的特征值；在所述协议识别函数识别出具体协议后，调用所述协议解析函数进行深度解析，解析出协议中各个字段的值。

进一步，所述基于TensorFlow的检测系统的检测流程是首先初始化检测引擎，然后从文件中加载训练好的检测系统机器学习模型，从所述共享内存中取出所述提取特征进行模型推断输出检测结果，并进行检测是否收到结束的信号，如果状态为否，则继续从所述共享内存中取出所述提取特征进行模型推断，如果状态为是，整个TensorFlow的检测系统的检测流程结束。

本发明达到的技术效果为：

1、本发明使用Intel DPDK来捕获数据包，利用DPDK零拷贝，轮询驱动等机制，来达到在高速网络环境中捕获流量的需求。

2、本发明将协议解析模块插件化，提供协议热加载、热更新功能，可以更加灵活的添加和更新协议。

3、本发明使用机器学习框架TensorFlow作为检测引擎，为入侵检测系统提供了一个灵活易用的机器学习引擎，更加方便的加载机器学习模型。

附图说明

图1为本发明的整体框架图；

图2为本发明的多线程模型图；

图3为本发明的Pipeline模式图；

图4为本发明的模型离线训练和线上部署的流程；

图5为WhenFlowInit和WhenReceiveNewPacket函数的调用流程

图6为WhenFlowFinished和WhenFlowTimeWindow函数的调用流程

图7为基于TensorFlow的检测系统。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的入侵检测系统包括数据包捕获系统，数据包解析系统和基于TensorFlow的检测系统，所述数据包捕获系统用DPDK进行数据包捕获，然后数据包解析系统将捕获的数据包进行层层解析，并提取对应特征入队到共享内存中；另外一个进程中，基于TensorFlow的检测系统加载离线训练好的模型，不断从共享内存中取出特征作为输入进行检测，最后把检测结果上送至Web端。

Linux网络协议栈是处理网络数据包的典型系统，它包含了从物理层直到应用层的全过程，其处理流程为，首先驱动向上层模块发出请求，通知协议栈有数据到达，然后协议栈通过系统调用对数据包的网络层协议数据进行处理，将网卡驱动的接收缓冲队列中的数据包拷贝到操作系统的接收队列中。接着调用传输层的接收函数进行传输层的数据处理。如果此时系统接收队列中没有需要的数据包时，操作系统会让当前的处理进程进入休眠状态，等待系统接收队列中到达新的数据包，当休眠的处理进程被系统唤醒，它会从接收队列获得所需的数据包，处理完毕以后通过调用read函数，将数据包从内核缓冲区拷贝到用户态的应用缓冲区。

在这个过程中，数据包首先从网卡驱动的缓冲队列拷贝到协议栈的接收队列，再从协议栈的接收队列拷贝到应用程序的内存空间.数据包从下向上的过程中进行了2次拷贝及多层系统调用处理。

从上述分析可以看出，Linux网络协议栈在捕获数据包时有诸多性能瓶颈，无法满足高速网络环境的要求。这是因为Linux内核协议栈的主要目标是实现通用的网络服务，所以在设计上存在固有的缺陷，大量的中断和数据包的多次拷贝都是普遍认为的病因所在。

数据包捕获的具体方式：

零拷贝和轮询驱动，使用Intel DPDK进行抓包，应用零拷贝的优点，避免内存内部的多次复制，减小数据复制开销，抓包时，抛弃原有的中断方式，改用轮询驱动，可以有效避免中断开销。

将线程绑定到核心，通过设置CPU亲和性，将数据包处理线程绑定到固定核心上，减小线程切换产生的系统开销。除此之外，将线程绑定到固定CPU核心，根据数据局部性原理，还可以提高Cache命中率。

采用无锁结构。我们的数据包队列缓存，包括两个线程之间的数据交换，均采用无锁队列进行数据交换，这样可以将线程间的竞争减小到原子指令级别，有效的减少因为线程竞争产生的开销。

实现了两种线程模型，我们在系统中实现了两种线程模型，多线程模型和Pipeline模型。其中，多线程模型适用于网卡或者网卡队列较多，且流量比较均衡的场景，这样每个线程都要经历一个完整的流程，首个模块完成抓包，其他模块依次处理，直至最后上报警报信息，多线程模型如图2所示。

Pipeline模型适用于网卡或者网卡队列较少。为了减少线程之间的竞争，对于同一个网卡队列，只用一个线程去取回数据包。因此，对于网卡队列较少的情况使用Pipeline模型，Pipeline模式如图3所示。

所述数据包解析过程为使用插件式的报文解析模块进行解析，所述插件式的报文解析模块可以解决报文解析过程中针对不同解析目标的适配灵活性，同时带来良好的可扩展性。将不同的处理功能按照统一的结构化的模板封装成具有相同接口的插件类，这些类被编译为不同的动态链接库在需要调用时加载，然后程序按照配置文件的不同加载不同的插件模块。

除了在启动时通过配置文件配置当前协议，在系统运行时，热加载或者热更新更新协议解析模块。系统中的Server监听某一个端口发来的请求。这样，可以通过向对应端口发送指令的方式，在系统不重启的情况下线上加载或者更新解析模块的实现。

插件化的协议解析模块，设计一套灵活易用的通用编程接口。协议对应的解析模块主要需要包括协议识别函数和协议解析函数。

所述协议识别函数主要用来识别出数据包的具体协议。对于工控协议，一般都是通过识别某些特定字段，或者识别某些特定的特征值。例如，对于Modbus协议，协议标识符的值应该为0。

所述协议解析函数主要用来当识别出具体协议后，调用协议解析函数对协议进行深度解析，解析出协议中各个字段的值。

对于写好的模块解析代码编译成动态库(Linux为后缀为so的库文件)。然后在使用时，根据配置文件中配置的相应协议，将对应的动态库加载至内存(使用dlopen函数)，并调用动态库中对应的函数(使用dlsym函数)，进而将对应的解析、识别或者特征抽取函数注册到系统中。

为了入侵检测系统更加灵活的加载机器学习模型，本发明将TensorFlow这个被广泛应用的机器学习框架集成到入侵检测系统中，作为系统的检测引擎。

使用TensorFlow作为检测引擎，主要有以下有优点：

(1)TensorFlow可以便捷地加载更新机器学习模型。

(2)TensorFlow是一个普遍使用的机器学习和深度学习框架，易于上手，用户使用范围广大。实现时，我们使用TensorFlow的C语言接口，相比Python接口，更加高效。

模型离线训练和线上部署的流程如图4所示。如图所示，离线训练时，我们使用已经打过标签的训练数据来训练机器学习模型，然后将训练好的机器学习模型存储下来。

在实时检测时，数据包捕获、数据包解析和特征提取等流程在同一进程中，我们称作解析进程。TensorFlow加载模型和实时检测在另外一个进程中，我们称作检测进程。其中，解析进程提取的特征作为TensorFlow检测进程机器学习模型的输入。两个进程之间的数据交换通过共享内存来完成。共享内存在实现上，采用DPDK的rte_ring来实现进程间的共享内存。

在解析线程中，主要工作在于特征提取，我们提供插件化特征提取器，使用时可以自己添加或者定制特征的提取方式，当前系统中实现了以流为单个样本的插件化的特征提取器。

对于每个特征提取器，需要实现以下接口：

(1)WhenFlowInit函数。该函数是当某一个流被新建时被调用，主要做一些流特征初始化操作。

(2)WhenReceiveNewPacket函数。该函数是当某个流收到新的数据包时，需要根据数据包的信息，更新我们提取的流特征。WhenFlowInit和WhenReceiveNewPacket函数的调用流程如图5所示。

图5是当系统从网卡取回一个新的数据包时的处理流程。当收到新的数据包时，首先需要在流表中查找此数据包所对应的流结构。若没有找到，说明是一条新流的数据包，则新建流并添加到流表中，并调用特征提取器的WhenFlowInit函数，来初始化新流的特征。若找到数据包所对应的流，此时需要调用WhenReceivePacket函数，根据数据包的信息，来更新流的特征。然后在进行后续的数据包处理，后续处理不在我们的研究范围内。流程图中的是否结束是指是否收到程序结束的信号。

(3)WhenFlowFinished和WhenFlowTimeWindow函数。WhenFlowFinished函数在流结束或者流超时时被调用。此时流将被从流表中删除，此时需要调用WhenFlowFinished将提取的特征做进一步处理，然后入队到共享内存中。有时存在长连接的情况，此时一个流的持续时间可能比较长，我们将时间切片，在时间窗到达时，需要调用WhenFlowTimeWindow函数，提取特征并入队到共享队列中。需要一个单独的计时器线程来检测流超时和时间窗到达，在这个线程中，WhenFlowFinished和WhenFlowTimeWindow函数的调用流程如图6所示。

图6是计时器线程的流程。计时器线程负责检测流超时或者流到达我们设定的时间窗。当检测到流超时，需要调用WhenFlowFinished函数(WhenFlowFinish函数会提取流的特征并入队到共享内存中，然后释放特征对应的内存空间)，然后从流表中移除当前流。当检测到流到达时间窗时，调用WhenFlowTimeWindow(WhenFlowTimeWindow函数会提取流的特征并入队到共享内存中，然后重新初始化特征)。流程图中的是否结束是指是否收到程序结束的信号。

在检测线程中，使用TensorFlow加载训练好的机器学习模型，然后从共享内存中取出特征，作为模型的输入，最后模型推断给出检测结果，流程如图7所示。

所述基于TensorFlow的检测系统的检测流程是首先初始化检测引擎，然后从文件中加载训练好的检测系统机器学习模型，从所述共享内存中取出所述提取特征进行模型推断输出检测结果，并进行检测是否收到结束的信号，如果状态为否，则继续从所述共享内存中取出所述提取特征进行模型推断，如果状态为是，整个TensorFlow的检测系统的检测流程结束。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.一种面向工控网络的高效入侵检测系统，其特征在于，包括数据包捕获系统，数据包解析系统和基于TensorFlow的检测系统，所述数据包捕获系统采用DPDK进行数据包捕获，然后数据包解析系统将捕获的数据包进行层层解析，提取特征入队到共享内存中；所述基于TensorFlow的检测系统加载离线训练的模型，不断从所述共享内存中取出提取特征作为输入进行检测，最后把检测结果上送至Web端；所述基于TensorFlow的检测系统的检测流程是首先初始化检测引擎，然后从文件中加载训练好的检测系统机器学习模型，从所述共享内存中取出所述提取特征进行模型推断输出检测结果，并进行检测是否收到结束的信号，如果状态为否，则继续从所述共享内存中取出所述提取特征进行模型推断，如果状态为是，整个TensorFlow的检测系统的检测流程结束；所述数据包捕获系统使用Intel DPDK进行抓包的方式为轮询驱动方式，并通过设置CPU亲和性，将数据包处理线程绑定到固定核心；所述数据包捕获系统采用无锁结构，数据包队列缓存和包括两个线程之间的数据交换均采用无锁队列进行数据交换；所述数据包捕获系统实现两种线程模型，包括多线程模型和Pipeline模型，所述多线程模型适用于网卡或者网卡队列较多且流量比较均衡的场景，首个模块完成抓包，其他模块依次处理，直至最后上报警报信息；所述Pipeline模型，Pipeline模型适用于网卡或者网卡队列较少，对于同一个网卡队列，只用一个线程去取回数据包。

2.如权利要求1所述的系统，其特征在于，所述数据包解析系统采用插件式的报文解析模块，将不同的处理功能按照统一的结构化的模板封装成具有相同接口的插件类，所述插件类被编译为不同的动态链接库，在需要调用时加载，然后程序按照配置文件加载相应的插件式的报文解析模块。

3.如权利要求2所述的系统，其特征在于，所述插件化的报文协议解析模块包括协议识别函数和协议解析函数；所述协议识别函数进行识别数据包的具体协议，对于工控协议通过识别特定字段或者识别特定的特征值；在所述协议识别函数识别出具体协议后，调用所述协议解析函数进行深度解析，解析出协议中各个字段的值。

Images