CN108933731B - 基于大数据分析的智能网关 - Google Patents

Abstract

本发明提供了一种基于大数据分析的智能网关，包括以下模块：统计分析模块，用于基于用户、应用进行统计，并进行量化分析和可视化呈现，对历史网络流量进行自动学习，生成网络流量安全基线，并持续实时检测和统计网络流量的行为参数，以便借助网络流量安全模型得出网络行为异常参数；防火墙模块，用于对进出的流量做访问控制，考查数据包的参数，并且要关心数据包的连接状态变化，建立状态连接表，并将进出网络的数据当成一个个的会话，利用状态表跟踪每一个会话的状态，其中，状态检测对每一个数据包的检查不仅根据规则表，还考虑了数据包是否符合会话所处的状态。Anti‑DOS模块，用于解决DDOS和DOS攻击。

Description

基于大数据分析的智能网关

技术领域

本发明涉及网关领域。

背景技术

大数据有4V特点：数据体量(Volume)大、数据类别(Variety)大、数据处理速度(Velocity)快、数据真实性(Veracity)高。大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术，是解决大数据问题的核心。

在人类全部数字化数据中，仅有非常小的一部分数值型数据得到了较好的分析和挖掘，如回归、分类、聚类等，仍有大量的非结构化数据还难以进行有效的分析。大数据分析技术的发展需要解决两个方向的问题，一是对数量庞大的结构化和半结构化数据进行高效率的深度分析，挖掘隐性知识，如从自然语言构成的文本的网页中理解和识别语义、情感、意图等；二是对非结构化数据进行分析，将海量复杂多源的语音、图像和视频数据转化为机器可识别的、具有明确语义的信息，进而从中提取有用的知识。数据分析的技术路线有两条，一是通过先验知识人工建立数学模型来分析数据，二是通过建立人工智能系统，使用大量样本数据进行训练，让机器代替人工获得从数据中提取知识的能力。

大数据蕴含着大价值，要开发大数据的价值，对原有技术体系提出了诸多挑战，需要在分析、计算和存储等一系列技术上进行创新。

攻击检测技术的发展现状分析：

攻击检测中最核心的问题是数据分析技术，包括对原始数据的同步、整理、组织、分类以及各种类型的细致分析，提取其中所包含的系统活动特征或模式，用于对正常和异常行为的判断。采用哪种数据分析技术，将直接决定系统的检测能力和效果。

现有安全产品都是基于已知特征库的安全网关，因为此类安全网关只能检测出已知的威胁，而越来越多的未知威胁隐藏在正常流量中无法通过特征检测出，如APT、0-Day攻击等。

目前国内外安全监测数据分析技术主要分为两类：误用检测和异常检测。误用检测搜索审计事件数据，查看是否存在预先定义的误用模式，其典型代表是特征模式匹配技术、协议分析技术和状态协议分析技术等。传统的攻击检测技术，诸如入侵检测和防御产品、漏洞扫描产品、传统防火墙等，都是基于已有攻击特征库工作的。然而传统安全防御措施很难检测高级持续性攻击，因为这种攻击与之前的恶意软件模式完全不同。

于是，攻击检测产品越来越多地采用异常检测技术，该技术假设所有攻击活动都异常于正常用户的活动，对正常用户的活动特征进行分析并构建模型，统计所有不同于正常模型的用户活动状态的数量，当其违反统计规律时，认为该活动可能是攻击行为。这种技术的优点是可检测到未知的攻击和更为复杂的攻击。但是，在许多环境中，建立正常用户活动模式的特征轮廓以及对活动的异常性进行报警的阈值的确定都是比较困难的。

发明内容

本发明的目的在于提供一种基于大数据分析的智能网关，以解决上文所述问题。

本发明提供的一种基于大数据分析的智能网关，包括以下模块：

统计分析模块，用于基于用户、应用进行统计，并进行量化分析和可视化呈现，对历史网络流量进行自动学习，生成网络流量安全基线，并持续实时检测和统计网络流量的行为参数，以便借助网络流量安全模型得出网络行为异常参数；

防火墙模块，用于对进出的流量做访问控制，考查数据包的参数，并且要关心数据包的连接状态变化，建立状态连接表，并将进出网络的数据当成一个个的会话，利用状态表跟踪每一个会话的状态，其中，状态检测对每一个数据包的检查不仅根据规则表，还考虑了数据包是否符合会话所处的状态。

Anti-DOS模块，用于解决DDOS和DOS攻击。

在上述智能网关中，所述统计分析模块包括：网络子模块、用户分析子模块、业务分析子模块、自定义统计分析子模块；

其中，网络分析子模块用于让用户快速了解当前网络的使用情况；其中，网络分成6个部分：全局流量、端口流量计及协议饼图、端口会话数量及协议饼图、端口会话新建及协议饼图、端口的主机数量、端口的Top N的服务；

全局流量支持28个用户端的流量X-Y折线图，分成In、Out、All；

用户分析子模块用于针对用户行为进行详细分析，了解用户行为，合理设定各种配置，用户分析包括：基于用户的流量分析、基于用户的会话数量分析、基于用户的会话新建速度分析、基于用户的协议分布分析、TopN分析；

业务分析子模块主要是针对服务器，包括：指定服务器的流量分析、指定服务器的会话数量分析、指定服务器的会话新建速度分析、指定服务器的协议分布分析、指定服务器的Top N分析。

在上述智能网关中，所述统计分析模块通过对历史安全流量数据的学习，基于关键风险对象的大量流量数据计算行为安全指数P，并结合用户业务白环境，建立一个流量安全基线T0，并根据时间t和流量数据进行不断的智能学习和动态调整，形成自适应的流量安全基线：

T0(t)＝Ф[P10(t),P20(t),…Pn0(t)]；

其中，行为安全指数包括包括连接数、包速”、会话新建速度。

在上述智能网关中，通过行为安全指数与其安全基线之间的实时比对，生成网络安全行为异常指数Δ(t):

Δ(t)＝T(t)-T0(t)。

在上述智能网关中，网络安全行为异常指数之间根据逻辑相关性进行加权计算，构建起一个系统性的流量安全模型S:

S(t)＝Ψ[Δ(t)]＝Ψ{Ф[P1(t),P2(t),…Pn(t)]-Ф[P10(t),P20(t),…Pn0(t)]}

设置流量安全模型决断阈值S0,超出S0的部分为不安全流量。

在上述智能网关中，所述防火墙模块包括：访问控制规则子模块、会话表子模块和应用层网关子模块；

其中，访问控制规则子模块具有用户接口，而会话表子模块有个用户管理和查询的接口，应用层网关子模块和用户没有直接的接口；

访问控制规则子模块支持IPv4和IPv6，支持七层应用识别，支持TCP WindowsTracking，支持10K的复杂规则，保证性能，支持20K的简单规则，加载和查找性能低，支持100个ACL Group，每个ACL Group支持1000个ACL；

会话表子模块采用4级固定碰撞机制，超过4级，直接转发，采用基本表和扩展表的结构，支持4K的ARP表，支持8K的MAC表，支持SNAT、DNAT和Double NAT，支持快速过期机制；

在上述智能网关中，所述Anti-DOS模块包括：基于ADL的统计子模块、SYN Cookie子模块、黑白名单子模块和攻击防护子模块；其中，

基于ADL的统计子模块硬件支持512个简单规则，支持全局控制，启动或者关闭Anti-DOS模块；

黑白名单子模块总共支持1K，黑白名单不区分虚拟系统，共享1K的数量。IP支持IPObject和Group，支持黑白名单的IP地址的反向定义，支持黑白名单的的IP地址反向修改，命中黑名单，直接丢弃；命中白名单，不进行SYN Cookie；命中白名单，不受到ADL统计而丢弃报文，而是要列入统计；虽然命中白名单，依然受到ACL控制；

攻击防护子模块，对于SYN Flood，采用SYN Cookie和ADL统计结合，进行防护；对于UDP Flood，采用ADL统计，进行防护；对于ICMP Flood，采用ADL统计，进行防护。

由上可以看出，本发明通过对服务器等关键IT资产和用户等风险对象的流量数据(如“连接数”、“包速率”、“会话新建速度”、“系统资源指数”等几十种参数)进行持续、实时监控和分析，并利用统计学分析、相关性分析、机器学习和智能模式识别等多种技术手段来检测网络行为中的异常模式，用于发现潜在的威胁和异常。本发明通过自动学习历史流量数据，结合“安全白环境”技术，生成网络流量的安全基线，并根据时间和流量数据进行不断的智能学习和动态调整，形成自适应的流量安全模型。通过将未知流量行为参数与安全模型进行对比和关联分析鉴定未知威胁和异常。本发明通过对大量网络流量进行多维、实时的检测和统计分析，建立智能安全模型，并采用全国产多核CPU硬件平台，可以基于网络行为异常来检测和防御网络中潜藏的复杂攻击，如分布式拒绝服务攻击(DDoS攻击)、高级可持续性攻击(APT攻击)、零日漏洞攻击(Zero-Day攻击)等。

附图说明

图1为本发明的基于大数据分析的智能网关的结构图；

图2为行为安全指数与其安全基线之间的实时比对曲线图。

具体实施方式

如图1所示，本发明提供的基于大数据分析的智能网关包括以下模块：

统计分析模块100，主要包括以下子模块：网络子模块、用户分析子模块、业务分析子模块、自定义统计分析子模块。传统安全网关产品即使有统计分析功能，但仅限于对IP地址、协议端口的统计，并不直观，而且无法量化。本发明提供的安全网关是基于流量行为的分析，可以基于用户、应用进行统计，并进行量化分析和可视化呈现，能够对历史网络流量进行自动学习，生成网络流量安全基线。在实际使用中，能够持续实时检测和统计网络流量的行为参数，以便借助网络流量安全模型得出网络行为异常参数。

其中，网络分析子模块是为了让用户快速了解当前网络的使用情况

网络分成6个部分：全局流量、端口流量计及协议饼图、端口会话数量及协议饼图、端口会话新建及协议饼图、端口的主机数量、端口的Top N的服务全局流量支持28个用户端的流量X-Y折线图，分成In、Out、All

用户分析子模块是针对用户行为进行的详细分析，了解用户行为，合理设定各种配置，用户分析包括：基于用户的流量分析、基于用户的会话数量分析、基于用户的会话新建速度分析、基于用户的协议分布分析、TopN分析等。

业务分析子模块主要是针对服务器，包括：指定服务器的流量分析、指定服务器的会话数量分析、指定服务器的会话新建速度分析、指定服务器的协议分布分析、指定服务器的Top N分析。

防火墙模块200，主要包括3个子模块：访问控制规则子模块、会话表子模块和应用层网关(ALG)子模块。其中，访问控制规则子模块具有用户接口，而会话表子模块有个用户管理和查询的接口，ALG子模块和用户没有直接的接口。

防火墙模块200的性能和容量如下：转发性能：16G；新建性能：200K；会话数量：4M。

访问控制规则子模块支持IPv4和IPv6，支持七层应用识别，支持TCP WindowsTracking，支持10K的复杂规则，保证性能，支持20K的简单规则，加载和查找性能低，支持100个ACL Group，每个ACL Group支持1000个ACL。

会话表子模块采用4级固定碰撞机制，超过4级，直接转发，采用基本表和扩展表的结构，支持4K的ARP表，支持8K的MAC表，支持SNAT、DNAT和Double NAT，支持快速过期机制。

ALG子模块主要参数如下：

●H.323协议集

●图像编码：H.261和H.263，不关心

●语音编码：G.711、G.722、G.728、G.729和G.723，不关心

●数据通信：T.120

●呼叫控制：H.225，包括信令、注册、媒体同步、分组打包

●系统控制：H.245，打开或者关闭呼叫，功能协商

●实时传输协议：RTP(Real Time Transport Protocol)和RTCP(Real TimeControl Protocol)

●SIP，Session Initiate Protocol，信令协议

●MGCP，Multi Gateway Control Protocol，媒体网关控制协议，阶段1不支持

●FTP

●IRC，Internet Relay Chat，聊天协议

●MMS，Multi Media Server，控制且流式接收文件

●RTSP，Real Time Stream Protocol，实时流媒体协议

●SQLNET

●TFTP

Anti-DOS模块300。Anti-DOS模块300是解决DDOS和DOS攻击的方案，分成4个子模块：基于ADL的统计子模块、SYN Cookie子模块、黑白名单子模块和攻击防护子模块。

基于ADL的统计子模块硬件支持512个简单规则，支持全局控制，Enable或者Disable Anti-DOS模块。在Anti-DOS开启的情况下，基于ADL的2种工作模式：监控(monitor)，设置大阈值；防御(Defense)，设置正常阈值。分成3个统计项：会话数量(Session Number)、会话速率(Session Rate)和命中同一个会话的报文速率(PPS)。支持每IP和组的Session Number限制(软件实现)，支持每IP和组的Session Rate限制(硬件实现)，支持组的PPS限制(硬件实现)。命中Session的报文，进行组的PPS限制。不命中Session的报文，不进行组的PPS限制；每IP的Session Rate的丢包阈值；每IP的Session Rate的90％阈值；组的Session Rate的丢包阈值；组的Session Rate智能启动高阈值；组的Session Rate智能启动低阈值；每IP的Session Number的丢包阈值；每IP的SessionNumber的90％阈值；组的Session Number的丢包阈值；组的PPS的丢包阈值。

SYN Cookie子模块。硬件完成SYN Cookie的计算，性能为3M每秒。硬件完成SYNCookie的验证，性能为3M每秒。SYN Cookie验证失败，直接丢弃TCP SYN报文。SYN Cookie验证通过，则转发到CPU进行新建。同时给出SN。SYN Cookie运算后，相关信息直接反转，而不查询路由、ARP或者MAC表。

黑白名单子模块总共支持1K。黑白名单不区分虚拟系统，共享1K的数量。IP支持IPObject和Group，软件要完成拆分。支持黑白名单的IP地址的反向定义。支持黑白名单的的IP地址反向修改。命中黑名单，直接丢弃。命中白名单，不进行SYN Cookie。命中白名单，不受到ADL统计而丢弃报文，而是要列入统计。虽然命中白名单，依然受到ACL控制。

攻击防护子模块。SYN Flood，采用SYN Cookie和ADL统计结合，进行防护。UDPFlood，采用ADL统计，进行防护。ICMP Flood，采用ADL统计，进行防护。Land Attack，硬件防护。Ping Of Death，软件防护。Winnuke，硬件防护。Smurf，软件防护。Replay Attack，对已建立Session中，反复发送攻击报文，导致异常。和硬件加速冲突，建议不支持。IPFragment，软件防护。

本发明能够实现如下方案：

协议异常检测(Protocol Anomaly Recognition)：

协议异常检查，包括检查IP包的格式是否正确，例如IP包的校验码是否正确、是否是错误分片。也包括对协议异常的IP包检查，例如源和目的IP相同的Land Attack攻击等。

源地址真实性验证(Anti-Spoofing)：

3种方法做源地址真实性验证：SYN Cookie、反向路径过滤、IP/MAC绑定。黑白名单(Black and White)：

白名单用户可以避免限制，直接通过SYN Cookie检查以及ADL限制。黑名单用于直接封堵非法IP，或者是不允许访问的IP。

统计异常检测和速率限制(Statistic Based Anomaly Recognition and RateLimiting)：

攻击发生时，网络流量的带宽、会话建立速度等统计指标会突然出现异常，通过监测这些统计指标并对攻击流量进行速率限制，可以比较有效的防范这种类型的攻击。

访问控制(Access Control)：

基于状态检测的防火墙模块可以对进出的流量做访问控制。状态检测防火墙不仅要考查数据包的IP地址等参数，并且要关心数据包的连接状态变化，在防火墙的核心部分建立状态连接表，并将进出网络的数据当成一个个的会话，利用状态表跟踪每一个会话的状态。状态检测对每一个数据包的检查不仅根据规则表，还考虑了数据包是否符合会话所处的状态，因此提供了完整的对传输层的控制能力。

基于特征的异常检测(Signature Based Anomaly Recognition)：

可实时针对异常流量与数据包内容进行检验与示警，并根据所做设置加以阻绝、丢弃或日志记录，从而有效预防可疑程序入侵企业内部网络，提高了信息传输的安全性，为企业网络的安全稳定运行提供保障。

流量管理(Traffic Management)：

上述区域、用户组、每用户三个层次的流量控制，均可实现对不同流向、不同服务协议(支持智能协议识别，可识别出采用非标准端口进行网络通讯的网络应用)以及总流量的细致控制。因此，通过综合运用这三个层次的流量控制功能，可完全实现对网络流量的精确、透明控制。

网络流量实时统计分析技术。流量控制分成3级限制：

●Per IP，每用户的限制

●Group，组用户的限制

●Interface，端口的限制

支持以用户为中心的流量限制，分成Per IP和Group。

支持以用户端口为中心的流量限制。

本发明的智能检测引擎具有很强的自学习能力，通过对历史安全流量数据的学习，基于关键风险对象的大量流量数据计算包括“连接数”、“包速率”、“会话新建速度”等等在内的数十个行为安全指数P，并结合用户业务白环境(需要结合用户信息安全策略和业务特点构建)，建立一个流量安全基线T0，并根据时间t和流量数据进行不断的智能学习和动态调整，形成自适应的流量安全基线：

T0(t)＝Ф[P10(t),P20(t),…Pn0(t)]

在实际网络中，无论任何网络攻击行为都伴随着一定的网络流量异常，如不常被使用的服务端口突然被开启访问、服务器数据的异常逆向流动、用户连接的异常剧烈波动等等，这些异常本质上都会通过我们的行为安全指数P表现出来，通过行为安全指数与其安全基线之间的实时比对，可以生成网络安全行为异常指数Δ(t):

Δ(t)＝T(t)-T0(t)

网络安全行为异常指数之间根据逻辑相关性进行加权计算，就构建起一个系统性的流量安全模型S:

S(t)＝Ψ[Δ(t)]＝Ψ{Ф[P1(t),P2(t),…Pn(t)]-Ф[P10(t),P20(t),…Pn0(t)]}

设置流量安全模型决断阈值S0,超出S0的部分为不安全流量。

如图2所示，阴影部分的流量的行为异常指数超出了决断阈值，被系统识别为潜在的攻击流量。同时，系统会根据流量模型自动调节决断阈值以适应不同的网络环境，从而智能识别潜在的网络攻击。

作为智能防护网关，在智能检测到攻击后，系统能够立即对攻击行为进行拦截，本发明通过访问控制、流量管控等技术手段进行有效防御。

Claims (6)

1.基于大数据分析的智能网关，包括以下模块：

统计分析模块，用于基于用户、应用进行统计，并进行量化分析和可视化呈现，对历史网络流量进行自动学习，生成网络流量安全基线，并持续实时检测和统计网络流量的行为参数，以便借助网络流量安全模型得出网络行为异常参数；

防火墙模块，用于对进出的流量做访问控制，考查数据包的参数，并且要关心数据包的连接状态变化，建立状态连接表，并将进出网络的数据当成一个个的会话，利用状态表跟踪每一个会话的状态，其中，状态检测对每一个数据包的检查不仅根据规则表，还考虑了数据包是否符合会话所处的状态；

Anti-DOS模块，用于解决DDOS和DOS攻击；

所述统计分析模块包括：网络子模块、用户分析子模块、业务分析子模块、自定义统计分析子模块；

其中，网络分析子模块用于让用户快速了解当前网络的使用情况；其中，网络分成6个部分：全局流量、端口流量计及协议饼图、端口会话数量及协议饼图、端口会话新建及协议饼图、端口的主机数量、端口的Top N的服务；

全局流量支持28个用户端的流量X-Y折线图，分成In、Out、All；

用户分析子模块用于针对用户行为进行详细分析，了解用户行为，合理设定各种配置，用户分析包括：基于用户的流量分析、基于用户的会话数量分析、基于用户的会话新建速度分析、基于用户的协议分布分析、TopN分析；

业务分析子模块主要是针对服务器，包括：指定服务器的流量分析、指定服务器的会话数量分析、指定服务器的会话新建速度分析、指定服务器的协议分布分析、指定服务器的Top N分析。

2.根据权利要求1所述的智能网关，其特征在于，所述统计分析模块通过对历史安全流量数据的学习，基于关键风险对象的大量流量数据计算行为安全指数P，并结合用户业务白环境，建立一个流量安全基线T0，并根据时间t和流量数据进行不断的智能学习和动态调整，形成自适应的流量安全基线：

T0(t)＝Ф[P10(t),P20(t),…Pn0(t)]；式中，Pn0(t)表示t时刻，从源地址到第n个安全目的地址的行为安全指数；n为正整数，n≥1；

其中，行为安全指数包括连接数、包速、会话新建速度。

3.根据权利要求2所述的智能网关，其特征在于，

通过行为安全指数与其安全基线之间的实时比对，生成网络安全行为异常指数Δ(t):

Δ(t)＝T(t)-T0(t)；式中，T0(t)表示t时刻，源地址的安全程度；

T(t)表示t时刻，所有安全目的地址的加权平均安全程度。

4.根据权利要求3所述的智能网关，其特征在于，

网络安全行为异常指数之间根据逻辑相关性进行加权计算，构建起一个系统性的流量安全模型S:

S(t)＝Ψ[Δ(t)]＝Ψ{Ф[P1(t),P2(t),…Pn(t)]-Ф[P10(t),P20(t),…Pn0(t)]}；

式中，Pn(t)表示t时刻，第n个安全目的地址的安全指数；

Pn0(t)表示t时刻，从源地址到第n个安全目的地址的行为安全指数；

设置流量安全模型决断阈值S0,超出S0的部分为不安全流量。

5.根据权利要求1所述的智能网关，其特征在于，所述防火墙模块包括：访问控制规则子模块、会话表子模块和应用层网关子模块；

其中，访问控制规则子模块具有用户接口，而会话表子模块有个用户管理和查询的接口，应用层网关子模块和用户没有直接的接口；

访问控制规则子模块支持IPv4和IPv6，支持七层应用识别，支持TCP WindowsTracking，支持10K的复杂规则，保证性能，支持20K的简单规则，加载和查找性能低，支持100个ACL Group，每个ACL Group支持1000个ACL；

会话表子模块采用4级固定碰撞机制，超过4级，直接转发，采用基本表和扩展表的结构，支持4K的ARP表，支持8K的MAC表，支持SNAT、DNAT和Double NAT，支持快速过期机制。

6.根据权利要求1所述的智能网关，其特征在于，所述Anti-DOS模块包括：基于ADL的统计子模块、SYN Cookie子模块、黑白名单子模块和攻击防护子模块；其中，

基于ADL的统计子模块硬件支持512个简单规则，支持全局控制，启动或者关闭Anti-DOS模块；

黑白名单子模块总共支持1K，黑白名单不区分虚拟系统，共享1K的数量；IP支持IPObject和Group，支持黑白名单的IP地址的反向定义，支持黑白名单的IP地址反向修改，命中黑名单，直接丢弃；命中白名单，不进行SYN Cookie；命中白名单，不受到ADL统计而丢弃报文，而是要列入统计；虽然命中白名单，依然受到ACL控制；

攻击防护子模块，对于SYN Flood，采用SYN Cookie和ADL统计结合，进行防护；对于UDPFlood，采用ADL统计，进行防护；对于ICMP Flood，采用ADL统计，进行防护。

Images