CN115865517A - 面向大数据应用的攻击检测方法及系统 - Google Patents

Abstract

本申请公开了一种面向大数据应用的攻击检测方法、装置、电子设备及存储介质，该方法包括：接收待检测网络流量的流量镜像数据包，对所述数据包进行特征处理，并对所述数据包进行分级检测，当从所述数据包中检测出攻击行为时，对所述待检测网络流量对应的链接进行阻断。本申请可提升攻击检测及阻断的准确率；同时，通过分级检测还可提升攻击检测效率，提高安全系统的性能及吞吐量。

Description

面向大数据应用的攻击检测方法及系统

技术领域

本申请属于网络安全技术领域，具体地，涉及一种面向大数据应用的攻击检测方法及系统。

背景技术

在大数据领域中，入侵检测系统(intrusion detection system，简称“IDS”)是一种旁路监听并通过TCP(Transmission Control Protocol)Reset进行阻断的网络安全系统，当发现一条非法的连接时，IDS将会向通信的两端各发送一个TCP Reset包，从而达到主动切断连接的目的。

然而，所有的IDS在响应攻击时都有延迟时间，当Reset到达会话端点时，对应的TCP会话可能早已结束，从而导致会话阻断失败，会导致传统的安全防御产品难以检测及阻断，大数据流量包处理存在性能瓶颈。

因此，亟需提供一种高效的面向大数据应用的攻击检测方法。

发明内容

本申请提供了一种面向大数据应用的攻击检测方法及系统，有效解决了因检测时延造成攻击阻断失败的问题。

为了实现上述目的，本申请实施例提供一种面向大数据应用的攻击检测方法，应用于安全检测设备，所述方法包括：

接收待检测网络流量的流量镜像数据包；

对所述数据包进行特征处理，并对所述数据包进行分级检测；

当从所述数据包中检测出攻击行为时，对所述待检测网络流量对应的链接进行阻断。

可选地，所述分级检测包括：规则判定及模型判定。

可选地，所述数据包包括预设字段信息、传输层报文信息及应用层报文信息。

可选地，所述对所述数据包进行特征处理，并对所述数据包进行分级检测，包括：

获取所述数据包的所述预设字段信息，对所述预设字段信息进行特征处理，得到第一数据包特征，调用预设判定规则对所述第一数据包特征进行攻击行为检测；

当判定所述第一数据包特征不存在所述攻击行为时，获取所述数据包的所述传输层报文信息，对所述传输层报文信息进行特征处理，得到第二数据包特征，利用所述传输层判定模型对所述第二数据包特征进行攻击行为检测；

当判定所述第二数据包特征不存在所述攻击行为时，获取所述数据包的所述应用层报文信息，对所述应用层报文信息进行特征处理，得到第三数据包特征，利用所述应用层判定模型对所述第三数据包特征进行攻击行为检测。

可选地，所述当从所述数据包中检测出攻击行为时，对所述待检测网络流量对应的链接进行阻断，包括：

当判定所述第一数据包特征存在所述攻击行为，或者，当判定所述第二数据包特征存在所述攻击行为，或者，当判定所述第三数据包特征存在所述攻击行为时，对所述待检测网络流量对应的链接进行阻断。

可选地，所述方法还包括：

当判定所述第三数据包特征不存在所述攻击行为时，确定所述数据包中不包含所述攻击行为。

可选地，所述预设模型包括逻辑回归模型：

其中，x₁、x₂、...、x_m表示镜像流量数据包中的m个变量，Y表示是否从镜像流量数据包检测出攻击行为的变量，p表示从镜像流量数据包检测出攻击行为的概率，β₀、β₁、β₂、...、β_m为回归系数，1≤m，p∈(0,1)。

可选地，所述预设传输层判定模型包括第一判定模型及第二判定模型，所述利用所述传输层判定模型对所述第二数据包特征进行攻击行为检测，包括：

将所述第二数据包特征分别输入所述第一判定模型及所述第二判定模型；

基于所述第一判定模型及第二判定模型输出的判定结果确定所述第二数据包特征是否存在所述攻击行为。

可选地，所述预设传输层判定模型包括第三判定模型及第四判定模型，所述利用所述应用层判定模型对所述第三数据包特征进行攻击行为检测，包括：

将所述第三数据包特征分别输入所述第三判定模型及所述第四判定模型；

基于所述第一判定模型及第二判定模型输出的判定结果确定所述第二数据包特征是否存在所述攻击行为。

可选地，所述方法还包括：

获取预设历史时间内的阻断失败率，当所述阻断失败率大于预设失败率阈值时，对所述规则、所述传输层传输层判定模型及所述应用层判定模型进行迭代调优。

可选地，所述方法还包括：

记录针对所述数据包进行特征处理及分级检测的时延，当所述延时满足预设条件时，对所述特征处理及所述分级检测进行优化更新。

本申请实施例还提供一种面向大数据应用的攻击检测系统，所述系统包括：

接收模块，用于接收待检测网络流量的流量镜像数据包；

分级检测模块，用于对所述数据包进行特征处理，并对所述数据包进行分级检测；

阻断模块，用于当从所述数据包中检测出攻击行为时，对所述待检测网络流量对应的链接进行阻断。

可选地，所述系统还包括：

优化模块，用于对所述特征处理及所述分级检测进行优化更新。

本申请实施例还提供一种计算机设备，所述计算机设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述面向大数据应用的攻击检测方法。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行上述面向大数据应用的攻击检测方法。

本申请实施例提出的面向大数据应用的攻击检测方法、系统、计算机设备及计算机可读存储介质，接收待检测网络流量的流量镜像数据包，对所述数据包进行特征处理，并对所述数据包进行分级检测，当从所述数据包中检测出攻击行为时，对所述待检测网络流量对应的链接进行阻断。通过针对网络流量的流量镜像数据包进行攻击行为的分级检测及判定，提升攻击检测及阻断的准确率；同时，在上一层级判定存在攻击行为后则停止后续的攻击检测，提升了安全系统的性能及吞吐量。

附图说明

图1为一个实施例中面向大数据应用的攻击检测方法的流程图；

图2为图1中步骤S2的细化流程图；

图3为一个实施例中面向大数据应用的攻击检测系统的结构框图；

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。此外，下面所描述的本申请各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

旁路阻断(Side Prevent)是一种以旁路的形式监测网络中的全流量镜像，从而实现攻击流量阻断的方法。旁路阻断通过旁路监听通信数据，然后进行协议还原，根据内容进行阻断。旁路阻断不影响互联网访问的速度，并且对用户没有特殊的设置要求。

旁路阻断采用旁路的方式侦听通信的数据包，然后再进行协议还原，根据内容进行阻断。这类技术的优点是不影响互联网访问的速度，并且对用户没有特殊的设置要求。通俗讲是并联在互联网的出口上，不会影响原来网络的稳定性，部署也很方便。

采用旁路的方式管理网络并阻断非法连接的方法可以分为三类：

1、发送TCP Reset包

2、通过与网关产品联动，建立临时规则

3、进行基于arp的阻断方式。

一、TCP Reset

我们以IDS为例，IDS设备是一个典型的旁路监听并通过TCP Reset进行阻断的网络安全设备。IDS TCP Reset实现方法，当IDS发现一条非法得连接IDS将会向通信的两端各发送一个TCP RESET包，从而实现主动切断连接的目的，此时通信双方的堆栈将会把这个RESET包解释为另一端的回应，然后停止整个通信过程，释放缓冲区并撤销所有TCP状态信息。这个时候，攻击数据包可能还在目标主机操作系统TCP/IP堆栈缓冲区中，没有被提交给应用程序，由于缓冲区被清空了，所以攻击不会发生。

对于RESET包来说，IDS发出的RESET包的前提是知道整个会话当前的序列号和确认号，否则这个RESET包将会被忽略。我们假定一个会话得确认号必须为152如果你发送的RESET包的确认号为142，那么堆栈将会认为这是一个无效的数据包或者被破坏的数据包而将它忽略掉。

从另一方面讲所有的IDS在响应攻击时都有延迟时间，因为IDS从抓取数据包，监测攻击，产生RESET包，到最后发出RESET整个过程都要消耗一定的时间。很多的IDS使用libpcap库来抓包，大部分IDS构建在类BSD的系统上，BSD系统下是利用BPF(BerkeleyPacket Filters)进行抓包，BPF默认将会开一个很大的缓冲区，在一个典型的网络中，IDS发出RESET包的过程大约会延迟半秒。在Linux和Solaris平台上，性能要稍微好一点，但是肯定也有延迟时间。

而且TCP Rest对于网络得应用来说也有着很大得局限性，其只能针对通常得标准TCP连接发送阻断信息，对于UDP会话是无能为力得。再则目前得一些网络应用软件在会话连接保持上都很强得能力，TCP Reset包对于他们得效果基本可以忽略。

二、与网关产品联动

通过与网关产品的联动方式主要是向防火墙发送临时规则，以及路由器或交换机发送临时ACL列表，阻断当前这个会话。

这种方式存在着这么几个方面得问题：

1、首先是联动协议问题。“联动”一直是网络安全界中的一个很时髦的概念，虽然已经有五六年的历史，但是到目前为止，还远远没有得到充分的发展。现在联动得实现是以现有得某个厂家为核心，其他厂家的产品在一些半公开的SDK的支持下实现与核心厂家的某个产品实现互联。这样导致现有和多产品有联动功能，但是没有联动得实际效果。

2、联动信息的滞后。即使产品与防火墙有着优良得联动相应方式，IDS产品在检测得过程中发现了非法得连接，生成一条临时规则发送到防火墙，防火墙应用这条规则阻断这个连接；在这一个过程中存在着三个延时，一、IDS发现非法连接，生成临时规则；二、规则传输给防火墙；三、防火墙应用规则。这三个演示得总时间最好情况下是小于两秒，而且这个过程当中IDS的检测是滞后IDS检测到非法连接时，这个连接已经建立了，如果这个连接时蠕虫，或木马，两秒的延时足够成功攻击了。

3、当遇到大规模的非法连接的时候，IDS会针对每一条会话向防火墙添加临时规则，这样势必造成防火墙临时规则增大，降低防火墙的效率，引起防火墙包转发延时，严重造成防火墙瘫痪，网络中断。

三、基于arp的阻断

共有三种方式ARP欺骗、ARP投毒和ARP攻击。先了解ARP的原理。ARP用于将IP地址匹配到或解析至恰当的MAC地址，所有的网络设备都有一张ARP表，里面临时记忆着该设备已经匹配起来的所有的IP地址和MAC地址。ARP表能够确保该设备不需要向已经与自己进行过通信的计算机重复ARP询问。当有人在未获得授权时就企图更改MAC和IP地址的ARP表格中的信息时，就发生了ARP攻击。通过这种方式我们可以伪造ARP应答包，使得非法连接主机的ARP表错误，无法连接到网关，从而阻断连接。

这种阻断方式从效果上讲是很强的，但是同时也造成了一个问题，其不但阻止了非法连接，而且也阻断了合法连接，这对于网络中的正常应用是有着很大的影响。入侵检测系统(intrusion detection system，简称“IDS”)是一个典型的旁路监听并通过TCP(Transmission Control Protocol)Reset进行阻断的网络安全系统，当发现一条非法的连接时，IDS将会向通信的两端各发送一个TCP Reset包，从而达到主动切断连接的目的。

互联网工程工作小组将IDS分为四部分：

事件产生器，从计算环境中获得事件，并向系统的其他部分提供此事件；事件分析器，分析数据；

响应单元，发出警报或采取主动反应措施；

事件数据库，存放各种数据。

也有一种常见的分类，即：

驱动引擎，捕获和分析网络传输；

控制台，管理引擎和发出报告或采取主动反应措施；

两种分类都是合理的。

一个IDS由于其工作特性，需要有一个安全的内网环境以避免拒绝服务攻击和黑客侵扰，而且进行网络传输检测也不需要合法的IP地址。因此一个典型的IDS应处在一个有DNS服务器、防火墙或路由器的内网之中，从而完全与互联网分开，阻止任何网络主机对IDS的直接访问。

基于网络的IDS的数据源是网络上的数据包。它往往将一台主机的网卡设置为混杂模式，对所有本网段内的网络传输进行检测。一般基于网络的IDS负责着保护整个网段。而基于主机的IDS功能与病毒防火墙类似，在须保护的系统后台运行，对主机活动进行检测。

除了简单的记录和发出警报之外，IDS还可以进行主动反应：打断会话，和实现过滤管理规则。

入侵检测

发现违反安全策略的网络传输是IDS的核心功能。根据思科公司对入侵检测技术的研究(参见[1])，可以将入侵检测分为几类：简单模式匹配、状态模式匹配、基于协议解码的签名、启发式签名和异常检测(“签名”指一组条件，如果满足这组条件的话，就表明是某种类型的入侵活动)。他们各有优缺点，须根据实际情况使用。

攻击响应

打断会话

如果使用此措施，IDS引擎会先识别并记录潜在的攻击，然后假扮会话连接的另一端，制造一份ACK-FIN分组给会话的两端，以打断会话连接。这样可以有效的关闭通信会话，阻止攻击。不同的IDS有可能在随后的一段预定或随机的时间内试图阻止从攻击者主机发出的所有通信。

这种措施虽然强大，但是也有缺点。这种措施能够阻止的是较长时间的攻击，而像早期的“泪滴攻击”使系统接收到一个特制分组报头时就会崩溃的情况，这种方法无能为力。

过滤管理规则

一些IDS能够修改远程路由器或防火墙的过滤规则，以阻止持续的攻击。根据安全策略的不同，这种措施可能包括阻止攻击主机与目标主机的其他传输、阻止攻击主机的所有传输；在某些特殊的情况下，也可以阻止目标主机的与特定网域内主机的通信。

这种措施的优点是同样阻止攻击，它比打断会话节省许多网络传输。不过此种措施无法对抗来自内网的攻击，以及有可能造成拒绝服务。

其他

由于IDS的主动特性，IDS对攻击的响应还可以是其他一些行为。比如对攻击者进行拒绝服务攻击等等。

然而，所有的IDS在响应攻击时都有延迟时间，因为IDS从抓取数据包，攻击检测，产生Reset包，到最后发出Reset，每个环节都要消耗一定的时间，其中攻击检测所占用的时间占比最长，因此，很可能使得当Reset到达会话端点时，对应的TCP会话可能早已结束，从而导致会话阻断失败。

同时，核心路由器中的所有业务流量都需要被镜像并进行攻击检测判断，而核心路由器中的业务流量基数庞大，从而会对防护阻断设备造成巨大压力和性能消耗。

为了解决以上问题，发明人创造性地提出：通过采集接入的硬件设备的属性信息，基于采集的所述属性信息对所述硬件设备进行性能评估，确定所述硬件设备的运算能力等级；获取所述硬件设备的设备类型，基于所述运算能力等级及设备类型确定与所述硬件设备对应的信息控制类型；获取所述硬件设备的与所述信息控制类型对应的待控制信息及预设配置信息，基于所述预设配置信息对所述待控制信息进行信息处理，生成目标信息，以供所述硬件设备输出所述目标信息。通过对不同类型的硬件设备采取不同的监控策略及控制策略，实现对硬件设备输出内容的精准控制；同时，基于硬件设备的算力信息采取不同的控制策略，可提高对硬件设备内容输出控制的效率。

如图1所示，本申请实施例提供一种面向大数据应用的攻击检测方法，应用于一种安全检测设备，该方法包括如下步骤S1-S3。

S1、接收待检测网络流量的流量镜像数据包。

在本实施例中，安全检测设备为入侵检测系统中的IDS设备。入侵检测系统包括互联网侧及IDS设备，互联网侧包括一个链接对应的两端，每侧可以是至少一个设备端，也可以是至少一个数据库或系统。当设备端发起访问请求时，会形成网络流量(也可理解为链接)，此时，为了保证另一端的安全，需对网络流量是否包含攻击行为进行检测，并在检测到攻击行为时及时进行阻断。

为了不影响互联网的访问速度，通过网络流量的镜像数据进行攻击检测。在本实施中，接收待检测网络流量的流量镜像数据包。需要说明的是，流量镜像数据包可以是安全检测设备主动获取，也可以是被动接收，在此不做限制。

S2、对所述数据包进行特征处理，并对所述数据包进行分级检测；

当接收到待检测网络流量的流量镜像数据包后，对数据包信息进行特征抽取，并基于得到的特征进行攻击行为检测。

以链接基于TCP/IP协议族为例，TCP/IP协议族可以分为4层，分别是应用层、传输层、网络层和数据链路层。

在本实施例中，数据包包括预设字段信息、传输层报文信息及应用层报文信息。预设字段信息包括但不仅限于域名及统一资源定位符(uniform resource locator，URL)等基本信息。

通过对预设字段信息、传输层报文信息及应用层报文信息进行分层检测，识别出数据包中是否包含攻击行为。

在本实施例中，分级检测包括：规则判定及模型判定。其中，规则判定适用于预设字段信息的攻击检测，模型判定适用于传输层报文信息及应用层报文信息的攻击检测。

具体地，如图2所示，所述对所述数据包进行特征处理，并对所述数据包进行分级检测，包括步骤S21-S23：

S21、获取所述数据包的所述预设字段信息，对所述预设字段信息进行特征处理，得到第一数据包特征，调用预设判定规则对所述第一数据包特征进行攻击行为检测；

S22、当判定所述第一数据包特征不存在所述攻击行为时，获取所述数据包的所述传输层报文信息，对所述传输层报文信息进行特征处理，得到第二数据包特征，利用所述传输层判定模型对所述第二数据包特征进行攻击行为检测；

S23、当判定所述第二数据包特征不存在所述攻击行为时，获取所述数据包的所述应用层报文信息，对所述应用层报文信息进行特征处理，得到第三数据包特征，利用所述应用层判定模型对所述第三数据包特征进行攻击行为检测。

具体地，分级检测包括三层判定：

L1层判定，通过规则对请求的域名、URL等字段进行判定，当判定存在攻击行为时，执行步骤S3，当判定不存在攻击行为时，执行L2层判定；

L2层判定，将经过特征处理后的传输层报文信息输入预先训练好的传输层判定模型，若模型输出结果为存在攻击行为，执行步骤S3，当判定不存在攻击行为时，执行L3层判定；

L3层判定，将经过特征处理后的应用层报文信息输入预先训练好的应用层判定模型，若模型输出结果为存在攻击行为，执行步骤S3，当判定不存在攻击行为时，确定当前数据包不存在攻击行为，不再作任何处理。

当L1层检测到攻击行为时，后续L2及L3层检测不再执行，可提高检测效率，也可提高入侵检测系统的吞吐及性能；另外，通过对数据包的报文信息进行深度检测，还可进一步提高攻击检测的准确性。

需要说明的是，针对传输层报文信息和应用层报文信息进行模型判定的顺序并不仅限于上述实施例，例如，也可先对应用层报文信息进行攻击检测，然后对传输层报文信息进行攻击检测，具体可根据实际需求进行调整。

S3、当从所述数据包中检测出攻击行为时，对所述待检测网络流量对应的链接进行阻断。

具体地，所述当从所述数据包中检测出攻击行为时，对所述待检测网络流量对应的链接进行阻断，包括：

当判定所述第一数据包特征存在所述攻击行为，或者，当判定所述第二数据包特征存在所述攻击行为，或者，当判定所述第三数据包特征存在所述攻击行为时，对所述待检测网络流量对应的链接进行阻断。

当任意一层检测出攻击行为后，在停止后续检测的同时，发送Reset包，以阻断攻击行为。

进一步地，当检测出攻击行为后，获取攻击行为的攻击源地址，在时间阈值内拒绝所有来自攻击源地址的访问行为，或者，将攻击源地址加入黑名单，从而减少恶意攻击的情况。

进一步地，所述方法还包括：

当判定所述第三数据包特征不存在所述攻击行为时，确定所述数据包中不包含所述攻击行为。

当且仅当三层均未检测到攻击行为时，方确定当前数据包不包含攻击行为，此时，无需执行任何操作。

作为一种实施方式，上述预设模型中应用层判定模型和传输层判定模型可以均为逻辑回归模型，也可以是仅其中一个模型为逻辑回归模型。具体模型公式如下：

其中，x₁、x₂、...、x_m表示镜像流量数据包中的m个变量，Y表示是否从镜像流量数据包检测出攻击行为的变量，p表示从镜像流量数据包检测出攻击行为的概率，β₀、β₁、β₂、...、β_m为回归系数，1≤m，p∈(0,1)。样本数据通过7∶3或者6∶4分为建模集与验证集，通过建模集建立逻辑回归模型，在验证集上应用逻辑回归模型进行验证。建模集与验证集在目标变量上的累积提升图(洛伦兹曲线)较为接近时，模型比较稳定。建模集与验证集在目标变量的混淆矩阵上的ROC值大于等于0.75时，模型较为准确。

以应用层判定模型为逻辑回归模型为例，Y＝1表示依据镜像流量数据包中的应用层数据包中检测到攻击行为，p表示依据镜像流量数据包中的应用层数据包中检测到攻击行为的概率，p越大，表示径向流量数据包中应用层数据包中存在攻击行为的可能性越大。具体地，可以设置概率阈值来判断是否存在攻击行为，例如，概率阈值为0.75，当p大于或等于0.75时，则认为检测到攻击行为。可以理解的是，概率阈值越大，攻击行为检测的准确性越高，具体可根据实际情况进行调整，在此不做限制。

在其他实施例中，上述预设模型中的应用层判定模型和传输层判定模型可以均为聚类模型，也可以是仅其中一个模型为聚类模型，例如，K-means聚类模型，其中，K＝2，即，该模型仅有两个簇。通过对镜像流量数据包对应的第二数据包特征进行处理，并计算与两个簇的特征的相似度，从而判定第二数据包与哪个簇更为相似，从而判断是否从第二数据包特征中监测到攻击行为。

在其他实施例中，应用层判定模型和传输层判定模型可以是同类模型，也可以是不同类的模型，具体可根据实际情况进行调整，在此不做限制。

为了进一步提高模型判定的准确率，预设传输层判定模型包括第一判定模型及第二判定模型，所述利用所述传输层判定模型对所述第二数据包特征进行攻击行为检测，包括：将所述第二数据包特征分别输入所述第一判定模型及所述第二判定模型；基于所述第一判定模型及第二判定模型输出的判定结果确定所述第二数据包特征是否存在所述攻击行为。

所述预设传输层判定模型包括第三判定模型及第四判定模型，所述利用所述应用层判定模型对所述第三数据包特征进行攻击行为检测，包括：将所述第三数据包特征分别输入所述第三判定模型及所述第四判定模型；基于所述第一判定模型及第二判定模型输出的判定结果确定所述第二数据包特征是否存在所述攻击行为。

其中，第一判定模型和第二判定模型，第三判定模型和第四判定模型可以属于相同类型，例如，所有模型均为逻辑回归模型。或者，两两属于不同类模型，例如，第一判定模型和第二判定模型均为逻辑回归模型，第三判定模型和第四判定模型均为聚类模型。再或者，第一判定模型和第三判定模型为逻辑回归模型，第二判定模型和第四判定模型为聚类模型。

以应用层判定模型为例，包括第一判定模型A和第二判定模型B，将第二数据包特征分别输入模型A和模型B后，模型A和模型B输出的结果有四种可能：存在攻击行为/存在攻击行为、存在攻击行为/不存在攻击行为、不存在攻击行为/存在攻击行为、不存在攻击行为/不存在攻击行为。此时，若模型A和模型B的输出结果一致，则直接以模型输出结果作为最终判定结果；若模型A和模型B的输出结果不一致，则需要考虑其他因素，以确定最终判定结果。

作为一种实施方式，当所述第一判定模型及第二判定模型输出的判定结果均为未检测到攻击行为时，确定所述第二数据包特征不存在所述攻击行为；否则，确定所述第二数据包特征存在所述攻击行为；当所述第三判定模型及第四判定模型输出的判定结果均为未检测到攻击行为时，确定所述第三数据包特征不存在所述攻击行为；否则，确定所述第三数据包特征存在所述攻击行为。也就是说，只要有任意一个模型的输出结果为存在攻击行为，则确定第二数据包特征存在攻击行为。

为了避免因模型判定结果不一致导致的误阻断，可以通过对模型输出的结果进行筛选，从而提高阻断准确率。

作为另一种实施方式，当所述第一判定模型及第二判定模型输出结果不一致时，以模型准确率较高的模型结果作为判定结果。其中，模型准确率可以是模型训练时的准确率，也可以是预设时间内(最近一个月)的模型准确率。例如，在模型训练过程中，模型A的准确率高于模型B的准确率，若此时模型A的输出结果为存在攻击行为，模型B的输出结果为不存在攻击行为，则以模型A的结果为准，判定第二数据包特征存在攻击行为。

作为另一种实施方式，当所述第一判定模型及第二判定模型输出结果不一致时，将两个模型的输出结果发送至指定终端，供专人核实，并接受指定终端反馈的判断结果，以确定最终的判定结果。此时，比较模型A、模型B与终端反馈的结果，并记录一定时间内的与终端反馈结果不一致的次数，将该次数作为模型准确率的判断标准之一。为了提高模型判断准确性，当该次数达到一定标准时，触发模型迭代调优。

可以理解的时，在阻断过程中，可能因为攻击检测耗时造成在阻断前攻击行为已实际生效，即，阻断失败，也可能因为攻击检测的准确性造成未对实际包含攻击行为的网络流量进行阻断，因此，为了提高攻击阻断的效率，需对判定规则及模型进行迭代优化，迭代优化可以是在接收到指令后进行，也可在满足既定条件后自动执行，也可实时执行，在此不做限制。

作为一种实施方式，获取预设历史时间内的阻断失败率，当所述阻断失败率大于预设失败率阈值时，所述规则、所述传输层传输层判定模型及所述应用层判定模型进行迭代调优。例如，获取一周内的阻断失败率，若阻断失败率超过预设失败率阈值(例如，2％)，则调整规则并采集特征，基于裁剪后特征对模型进行重新训练迭代，另外，对模型、规则、及数据包特征处理做优化更新，以降低阻断失败率。

作为另一种实施方式，获取针对所述数据包进行特征处理及分级检测的时延，当所述延时满足预设条件时，对所述特征处理及所述分级检测进行优化更新。例如，实时采集并记录当前数据包攻击检测的时延，若时延超过预设时延阈值，则调整规则并采集特征，基于裁剪后特征对模型进行重新训练迭代，另外，对模型、规则、及数据包特征处理做优化更新，以降低攻击检测时延。

作为另一种实施方式，还可定期对所述规则、所述传输层判定模型及所述应用层判定模型进行迭代调优。具体地，为了不过多占用资源，影响入侵检测系统的性能，可每隔一周或者一个月做一次迭代调优，或者指定具体某天某个时间段进行迭代调优。

作为另一种实施方式，当传出层判定模型和应用层判定模型在预设时间内出现两个模型判定结果不一致的次数超过预设次数时，则可初步判断两个模型中存在一个模型的判断准确率有待提高，因此，为进一步提高阻断准确率，当不一致的次数超过预设次数时，可以同时对两个模型进行迭代调优，以提高模型准确率；也可以依据专人反馈的结果确定两个模型中待优化的模型，重新采集特征，并基于裁剪后特征对模型进行重新训练迭代，在降低攻击检测错误率的同时，节省模型迭代调优的时间。

在其他实施例中，还可以通过监控入侵检测系统的负载，当负载较低时再执行上述迭代调优相关操作。

本申请旨在：运用攻击检测能力，提供海量数据报文分析和全局攻击源封禁功能，实现有效的平台安全管控，快速识别主动或被动对外进行攻击、扫描、DDoS、暴力破解等违规行为，有效切断网络通信或进行网络隔离。具体实施例如下：

将攻击分级检测模块部署在网络IDS侧，规则层、传输层判定模型、应用信息判定模型采用预先确定的规则与模型；

一段时间后35％的攻击被第一层的规则识别，32％的攻击被四层判定模型(传输层判定模型)识别，18％的攻击被七层判定模型(应用层判定模型)识别，阻断失败率2.3％；

鉴于阻断失败率超过2％，调整规则并裁剪特征，基于新特征模型启动重新训练迭代；下发并更新预置的规则层，传输层判定模型，应用层判定模型；

一段时间后56％的攻击被第一层的规则识别，34％的攻击被四层判定模型识别，15％的攻击被七层判定模型识别，阻断失败率0.07％；

阻断失败率低于2％，暂停攻击分级检测模块的更新，持续监控阻断数据。

上述实施例，通过回溯历史判定时间，对规则和模型进行动态优化，缩短整体响应时间，提升检测效率及准确率，为提高攻击阻断成功率奠定基础。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的面向大数据应用的攻击检测方法的控制系统。该系统所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的面向大数据应用的攻击检测系统实施例中的具体限定可以参见上文中对于面向大数据应用的攻击检测方法的限定，在此不再赘述。

在一个实施例中，如图3所示，是本申请实施例中面向大数据应用的攻击检测系统100的模块示意图，其包括：接收模块110、分级检测模块120及阻断模块130，其中：

接收模块110，用于接收待检测网络流量的流量镜像数据包；

分级检测模块120，用于对所述数据包进行特征处理，并对所述数据包进行分级检测；

阻断模块130，用于当从所述数据包中检测出攻击行为时，对所述待检测网络流量对应的链接进行阻断。

具体地，分级检测模块120，还用于执行如下步骤：

A21、获取所述数据包的所述预设字段信息，对所述预设字段信息进行特征处理，得到第一数据包特征，调用预设判定规则对所述第一数据包特征进行攻击行为检测；

A22、当判定所述第一数据包特征不存在所述攻击行为时，获取所述数据包的所述传输层报文信息，对所述传输层报文信息进行特征处理，得到第二数据包特征，利用所述传输层判定模型对所述第二数据包特征进行攻击行为检测；

A23、当判定所述第二数据包特征不存在所述攻击行为时，获取所述数据包的所述应用层报文信息，对所述应用层报文信息进行特征处理，得到第三数据包特征，利用所述应用层判定模型对所述第三数据包特征进行攻击行为检测。

具体地，所述系统还包括：

优化模块140，用于对所述特征处理及所述分级检测进行优化更新。

具体地，优化模块140，还用于执行如下步骤：

获取预设历史时间内的阻断失败率，当所述阻断失败率大于预设失败率阈值时，对所述规则、所述传输层传输层判定模型及所述应用层判定模型进行迭代调优。

具体地，优化模块140，还用于执行如下步骤：

获取针对所述数据包进行特征处理及分级检测的时延，当所述延时满足预设条件时，对所述特征处理及所述分级检测进行优化更新。

具体地，优化模块140，还用于执行如下步骤：

定期对所述规则、所述传输层判定模型及所述应用层判定模型进行迭代调优。

上述分析系统各实施例的具体实施方式与前文中各方法实施例基本一致，在此不做赘述。

上述面向大数据应用的攻击检测系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，还提供一种计算机设备，该计算机设备为上述方法实施例中提到的网络安全设备，其内部结构图可以如图4所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。

其中，该计算机设备的处理器用于提供计算和控制能力，可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

该计算机设备的存储器包括但不限于非易失性存储介质和内存储器。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random AccessMemory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。

该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。

该计算机设备的通信接口用于与外部的终端通过网络连接通信。

该计算机程序被处理器执行时以实现一种面向大数据应用的攻击检测方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，各单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种面向大数据应用的攻击检测方法，应用于安全检测设备，其特征在于，所述方法包括：

接收待检测网络流量的流量镜像数据包；

对所述数据包进行特征处理，并对所述数据包进行分级检测；

当从所述数据包中检测出攻击行为时，对所述待检测网络流量对应的链接进行阻断。

2.根据权利要求1所述的方法，其特征在于，所述分级检测包括：规则判定及预设模型判定；所述数据包包括预设字段信息、传输层报文信息及应用层报文信息；所述预设模型包括预设应用层判定模型及预设传输层判定模型；所述对所述数据包进行特征处理，并对所述数据包进行分级检测，包括：

获取所述数据包的所述预设字段信息，对所述预设字段信息进行特征处理，得到第一数据包特征，调用预设判定规则对所述第一数据包特征进行攻击行为检测；

当判定所述第一数据包特征不存在所述攻击行为时，获取所述数据包的所述传输层报文信息，对所述传输层报文信息进行特征处理，得到第二数据包特征，利用所述传输层判定模型对所述第二数据包特征进行攻击行为检测；

当判定所述第二数据包特征不存在所述攻击行为时，获取所述数据包的所述应用层报文信息，对所述应用层报文信息进行特征处理，得到第三数据包特征，利用所述应用层判定模型对所述第三数据包特征进行攻击行为检测。

3.根据权利要求2所述的方法，其特征在于，所述当从所述数据包中检测出攻击行为时，对所述待检测网络流量对应的链接进行阻断，包括：

当判定所述第一数据包特征存在所述攻击行为，或者，当判定所述第二数据包特征存在所述攻击行为，或者，当判定所述第三数据包特征存在所述攻击行为时，对所述待检测网络流量对应的链接进行阻断。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当判定所述第三数据包特征不存在所述攻击行为时，确定所述数据包中不包含所述攻击行为。

5.根据权利要求2所述的方法，其特征在于，所述预设模型包括逻辑回归模型：

其中，x₁、x₂、...、x_m表示镜像流量数据包中的m个变量，Y表示是否从镜像流量数据包检测出攻击行为的变量，p表示从镜像流量数据包检测出攻击行为的概率，β₀、β₁、β₂、...、β_m为回归系数，1≤m，p∈(0,1)。

6.根据权利要求2所述的方法，其特征在于，所述预设传输层判定模型包括第一判定模型及第二判定模型，所述利用所述传输层判定模型对所述第二数据包特征进行攻击行为检测，包括：

将所述第二数据包特征分别输入所述第一判定模型及所述第二判定模型；

基于所述第一判定模型及第二判定模型输出的判定结果确定所述第二数据包特征是否存在所述攻击行为。

7.根据权利要求2所述的方法，其特征在于，所述预设传输层判定模型包括第三判定模型及第四判定模型，所述利用所述应用层判定模型对所述第三数据包特征进行攻击行为检测，包括：

将所述第三数据包特征分别输入所述第三判定模型及所述第四判定模型；

基于所述第三判定模型及第四判定模型输出的判定结果确定所述第三数据包特征是否存在所述攻击行为。

8.根据权利要求2-7任一所述的方法，其特征在于，所述方法还包括：

获取预设历史时间内的阻断失败率，当所述阻断失败率大于预设失败率阈值时，对所述规则、所述传输层传输层判定模型及所述应用层判定模型进行迭代调优。

9.根据权利要求2-7任一所述的方法，其特征在于，所述方法还包括：

获取针对所述数据包进行特征处理及分级检测的时延，当所述延时满足预设条件时，对所述特征处理及所述分级检测进行优化更新。

10.一种面向大数据应用的攻击检测装置，其特征在于，所述装置包括：

接收模块，用于接收待检测网络流量的流量镜像数据包；

分级检测模块，用于对所述数据包进行特征处理，并对所述数据包进行分级检测；

阻断模块，用于当从所述数据包中检测出攻击行为时，对所述待检测网络流量对应的链接进行阻断。

Images