CN109274673B - 一种网络流量异常检测和防御方法 - Google Patents

Abstract

本发明公开了一种网络流量异常检测和防御方法，包括下述步骤：S1，建立网络流量异常检测与防御架构，并收集流表项信息；其中，所述网络流量异常检测与防御架构包括Ryu控制器单元、基于BP神经网络的异常检测单元、基于OpenFlow协议的OpenvSwitch交换机和接入设备，所述Ryu控制器单元包括流表信息收集模块、流表特征提取模块和防御流表项生成模块，所述流表信息收集模块以周期T1向OpenvSwitch交换机请求所有流表项信息；本发明可便捷地提取出源端口、目的端口、源IP、目的IP、转发数据包数、转发字节数以及持续时间等网络流量信息，并充分利用SDN架构可动态更新流规则的特点，当检测到异常时，自动生成Action为Drop的流表项，阻断后续流量。

Description

一种网络流量异常检测和防御方法

技术领域

本发明涉及网络流量检测技术领域，具体涉及一种网络流量异常检测和防御方法。

背景技术

随着互联网的快速发展以及网络规模的不断扩大，网络管理和安全控制变得愈加困难。软件定义网络(SDN)是一种新型的网络架构，其利用分层的思想，将网络解耦为应用层、控制层、数据转发层，并构建开放可编程的网络环境。其中控制层提供北向接口，以开发网络相关应用，如防火墙、IDS以及流量监控，同时控制层提供了南向接口，以管理和配置数据层面的转发交换机。SDN将传统的网络架构从分布式控制转为集中控制管理，并以软件的方式驱动网络控制，这一方面使得网络可视化和管理更为便捷和有效，另一方面随着网络中业务新需求的日益增加，SDN网络可以方便地对流量、带宽进行管理，并开发、测试和应用新的网络协议，打破网络设备商垄断的封闭局面。

网络流量异常检测作为网络动态安全的核心技术之一，能够实时监控网络的运行状态，并主动对网络流量异常进行报警。在传统网络中，网络流的特征获取以及动态防御都较为困难。软件定义网络(SDN)的出现为传统的网络流量异常检测和防御技术提供了新思路，SDN网络具有控制中心化、灵活可编程、全局网络视图、基于流规则的转发机制以及动态更新流转发规则的特点，且基于OpenFlow协议的SDN网络可以以很低的网络开销获取网络流的字段以及流统计信息。

SDN集中开放可编程的特点也为很多传统应用的安全防护提供了新的思路，如利用集中控制的特性，根据OpenFlow流发现流量异常，防范垃圾邮件、蠕虫和DDoS攻击等。在目前的研究中，针对网络流量异常检测技术，一些研究者提出了在SDN环境下的检测技术方案：

(1)文献(Braga R，Mota E，Passito A.Lightweight DDoS flooding attackdetection using NOX/OpenFlow[C]//Local Computer Networks(LCN),2010IEEE 35thConference on.IEEE，2010：408-415)提出一种基于机器学习算法Self-Organizing Maps(SOM)的DDoS攻击检测方法，通过收集的流表项统计信息，从中提取出APf(Average ofPackets per flow)、ABf(Average of Bytes per flow)、ADf(Average of Duration perflow)、PPf(Percentage of Pair-flows)、GSf(Growth of Single-flows)、GDP(Growth ofDifferent Ports)六元组作为SOM算法的输入特征向量，但是，该文献中没有提到在检测到攻击后，该如何缓解或者阻止攻击；

(2)文献(Mehdi S A，Khalid J，Khayam S A.Revisiting traffic anomalydetection using software defined networking[C]//International workshop onrecent advances in intrusion detection.Springer，Berlin，Heidelberg，2011：161-180)利用SDN网络的可编程特点，将传统的TRW-CB(Threshold Random Walk with CreditBased Rate Limiting)、Rate Limiting、Maximum Entropy Detector、NETAD算法在NOX控制器上实现，用来检测内部主机主动扫描攻击、恶意数据包以及过滤非法流量，但是，其主要是针对办公、家庭的网络环境，通信数据量较小；

(3)文献(Giotis K，Argyropoulos C，Androulidakis G，et al.CombiningOpenFlow and sFlow for an effective and scalable anomaly detection andmitigation mechanism on SDN environments[J].Computer Networks，2014，62：122-136)提出一种基于OpenFlow协议和sFlow协议的检测和防御方法，其利用sFlow技术的数据包采样能力，从OpenFlow交换机中采集流表统计信息到检测模块中，减少了收集OpenFlow交换机流表项统计信息的通信量以及控制器的负载，此外检测模块采用了基于信息熵的检测技术，主要是根据源端口、目的端口、源IP和目的IP的熵值变化来判定是否为异常流量，检测对象包括了DDoS、蠕虫传播和端口扫描，并使用预先定义的白名单来过滤出正常流量，同时控制器向OpenFlow交换机下发除了白名单之外其他所有流量包都丢弃的流规则，但是，流表采样的频率可能会影响到异常检测的准确率；

(4)文献(Tang T A，Mhamdi L，McLernon D，et al.Deep learning approach fornetwork intrusion detection in software defined networking[C]//WirelessNetworks and Mobile Communications(WINCOM)，2016International Conferenceon.IEEE，2016：258-263)提出了基于深度学习入侵检测方法，其使用kddcup1999数据集作为方法可行性验证集，但是，没有在实际的SDN环境中测试；

(5)文献(王晓瑞，庄雷，胡颖，王国卿，马丁，景晨凯.SDN环境下基于BP神经网络的DDoS攻击检测方法[J].计算机应用研究，2018(03)：1-2)提出了一种基于BP神经网络的DDoS攻击检测方法，其也是采用了APf、ABf、ADf、PPf、GSf、GDP六元组作为BP神经网路的输入特征向量，但是，对于如何防御没有作研究。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种网络流量异常检测和防御方法，该方法通过周期性获取网络接入层中OpenFlow交换机的所有流表项信息，在基于端口提取流表项的关键特征后，构建检测特征矩阵，使用异常检测算法进行检测，若检测到异常，则通过控制器的防御模块下发一条防御流表项，Action部分为Drop且优先级最高的新流表项，以将后续异常流量丢弃，达到防御目的。

本发明的目的通过下述技术方案实现：

一种网络流量异常检测和防御方法，包括下述步骤：

S1，建立网络流量异常检测与防御架构，并收集流表项信息；

其中，所述网络流量异常检测与防御架构包括Ryu控制器单元、基于BP神经网络的异常检测单元、基于OpenFlow协议的OpenvSwitch交换机和接入设备，所述Ryu控制器单元包括流表信息收集模块、流表特征提取模块和防御流表项生成模块，所述流表信息收集模块以周期T1向OpenvSwitch交换机请求所有流表项信息；

S2，根据流表特征提取方法提取流表特征，生成特征向量，构建网络流量异常检测矩阵；

其中，所述流表特征提取方法的具体过程如下：

S2.1，根据收集到的流表项信息生成每个端口的流表项集合flowSet，其公式如下所示：

flowSet＝{(sip_i,dip_i,sport_i,dport_i,pcount_i,bcount_i,dcount_i,protocol_i)|i＝1,2,…,N_flowSet}，

其中N_flowSet表示所接受到的流表项的总条目数，sip_i表示第i条流表项中的源IP，dip_i表示第i条流表项中的目的IP，sport_i表示第i条流表项中的源端口，dport_i表示第i条流表项中的目的端口，pcount_i表示第i条流表项所接受的数据包数量，bcount_i表示第i条流表项所接受的字节量，dcount_i表示第i条流表项所持续的时间，protocol_i表示第i条流表项传输层协议；

S2.2，根据每个端口的流表项集合flowSet，传输层协议和流表的匹配方向，将flowSet分成六个集合，分别为tcpInFlowSet，tcpOutFlowSet，udpInFlowSet，udpOutFlowSet，icmpInFlowSet，icmpOutFlowSet；

其中tcpInFlowSet表示用以匹配从该端口进入的TCP流量的流表集合；tcpOutFlowSet表示用以匹配从该端口出去的TCP流量的流表集合；udpInFlowSet表示用以匹配从该端口进入的UDP流量的流表集合；udpOutFlowSet表示用以匹配从该端口出去的UDP流量的流表集合；icmpInFlowSet表示用以匹配从该端口进入的ICMP流量的流表集合；icmpOutFlowSet表示用以匹配从该端口出去的ICMP流量的流表集合；

S2.3，对六个集合分别提取特征向量，其中每个特征向量包含源IP信息熵(sipH)、目的IP信息熵(dipH)、源端口信息熵(sportH)、目的端口信息熵(dportH)、平均流包数(pcountA)、平均字节数(bcountA)、平均持续时间(dcountA)和流表生成速率(FGS)八维特征；生成该六个集合的特征向量，即tcpInFlowFeature、tcpOutFlowFeature、udpInFlowFeature、udpOutFlowFeature、icmpInFlowFeature和icmpOutFlowFeature，根据该六个特征向量构建端口网络流量异常检测矩阵；

S3，使用S1中的基于BP神经网络的异常检测单元进行异常检测；

S4，当检测到异常时，Ryu控制器单元的防御流表项生成模块生成防御流表项，流表项Action部分为Drop，丢弃后续的流量，从而达到防御的目的。

本发明与现有技术相比具有以下的有益效果：

(1)本发明的网络流量异常检测与防御方法是基于OpenFlow协议的SDN架构，与传统网络的工作模式相差巨大，可便捷地提取出源端口、目的端口、源IP、目的IP、转发数据包数、转发字节数以及持续时间等网络流量信息，并充分利用SDN架构可动态更新流规则的特点，当检测到异常时，自动生成Action为Drop的流表项，阻断后续流量；

(2)本发明收集了网络接入层OpenvSwitch交换机的流表信息，并基于端口进行特征提取和生成特征向量，当检测到异常时，可准确地定位异常的接入端口，有利于攻击源和攻击目标的鉴别；

(3)本发明在提取特征时，使用了信息熵的方法来描述源IP、目的IP、源端口和目的端口的变化，能更好的反应在流量异常时这些特征的变化；并提取了源IP样本熵(sipH)、目的IP样本熵(dipH)、源端口样本熵(sportH)、目的端口(dportH)样本熵、平均流包数(pcountA)、平均字节数(bcountA)、平均持续时间(dcountA)和流表生成速率(FGS)八维特征，能更好的描述流量的异常变化。

附图说明

图1为本发明的网络流量异常检测与防御架构示意图；

图2为本发明的整体流程图；

图3为本发明的OpenFlow流表项结构示意图；

图4为本发明的特征矩阵生成流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1～4所示，一种网络流量异常检测和防御方法，包括下述步骤：

步骤一，如图1所示，建立网络流量异常检测与防御架构，并收集流表项信息；

其中，所述网络流量异常检测与防御架构包括Ryu控制器单元、基于BP神经网络的异常检测单元、基于OpenFlow协议的OpenvSwitch交换机和接入设备，所述Ryu控制器单元包括流表信息收集模块、流表特征提取模块和防御流表项生成模块，所述流表信息收集模块以周期T1向OpenvSwitch交换机请求所有流表项信息；

步骤二，根据流表特征提取方法提取流表特征，生成特征向量，构建网络流量异常检测矩阵；

其中，所述流表特征提取方法的具体过程如下：

1、根据收集到的流表项信息生成每个端口的流表项集合flowSet，其公式如下所示：

flowSet＝{(sip_i,dip_i,sport_i,dport_i,pcount_i,bcount_i,dcount_i,protocol_i)|i＝1,2,…,N_flowSet}，

其中N_flowSet表示所接受到的流表项的总条目数，sip_i表示第i条流表项中的源IP，dip_i表示第i条流表项中的目的IP，sport_i表示第i条流表项中的源端口，dport_i表示第i条流表项中的目的端口，pcount_i表示第i条流表项所接受的数据包数量，bcount_i表示第i条流表项所接受的字节量，dcount_i表示第i条流表项所持续的时间，protocol_i表示第i条流表项传输层协议；

2、根据每个端口的流表项集合flowSet，传输层协议和流表的匹配方向，将flowSet分成六个集合，分别为tcpInFlowSet，tcpOutFlowSet，udpInFlowSet，udpOutFlowSet，icmpInFlowSet，icmpOutFlowSet；

其中tcpInFlowSet表示用以匹配从该端口进入的TCP流量的流表集合；tcpOutFlowSet表示用以匹配从该端口出去的TCP流量的流表集合；udpInFlowSet表示用以匹配从该端口进入的UDP流量的流表集合；udpOutFlowSet表示用以匹配从该端口出去的UDP流量的流表集合；icmpInFlowSet表示用以匹配从该端口进入的ICMP流量的流表集合；icmpOutFlowSet表示用以匹配从该端口出去的ICMP流量的流表集合；

3、对六个集合分别提取特征向量，其中每个特征向量包含源IP信息熵(sipH)、目的IP信息熵(dipH)、源端口信息熵(sportH)、目的端口信息熵(dportH)、平均流包数(pcountA)、平均字节数(bcountA)、平均持续时间(dcountA)和流表生成速率(FGS)八维特征；

具体来说，以tcpInFlowSet集合为例，各特征的含义和计算方式如下：

①源IP信息熵(sipH)；

根据tcpInFlowSet提取出源IP地址集合为sipSet＝{k_i,p＝1,2,..,K}，在集合sipSet中不同的源IP个数有W个，则这W个端口发生次数集合为B＝{w_i,i＝1,…,W},表示第i个源IP地址发生了w_i次，则源IP地址信息熵可被计算为：

其中S为tcpInFlowSet集合所有流表项数目；

②目的IP信息熵(dipH)；

根据tcpInFlowSet提取出目的IP地址集合为dipSet＝{v_i,p＝1,2,..,V}，在集合dipSet中不同的目的IP个数有R个，则这R个端口发生次数集合为B＝{r_i,i＝1,…,R},表示第i个目的IP地址发生了r_i次，则目的IP地址信息熵可被计算为：

③源端口信息熵(sportH)；

根据tcpInFlowSet提取出源端口集合为：sportSet＝{q_i,q＝1,2,..,Q}，在集合sportSet中不同的端口个数有M个，则这M个端口发生次数集合为Y＝{m_i,i＝1,…,M},表示第i个源端口发生了m_i次，则源端口信息熵可被计算为：

④目的端口信息熵(dportH)；

根据tcpInFlowSet提取出目的IP地址集合为dipSet＝{v_i,p＝1,2,..,V}，在集合dipSet中不同的目的IP个数有R个，则这R个端口发生次数集合为B＝{r_i,i＝1,…,R},表示第i个目的IP地址发生了r_i次，则目的IP地址信息熵可被计算为：

⑤平均流包数(pcountA)；

平均流包数表示tcpInFlowSet集合中流表项的平均匹配包数，计算如下：

其中pcount_i为tcpInFlowSet集合中第i条流表项匹配的数据包数量；

⑥平均字节数(bcountA)；

流表项平均字节数表示tcpInFlowSet集合中流表项的平均字节数，计算如下：

其中bcount_i为tcpInFlowSet集合中第i条流表项所匹配的字节数；

⑦平均持续时间(dcountA)；

平均持续时间表示tcpInFlowSet集合中流表项的平均持续时间，计算如下：

其中dcount_i为tcpInFlowSet集合中第i条流表项的持续时间；

⑧流表生成速率(FGS)；

其中S_T表示当前周期tcpInFlowSet集合中流表项数目，S_T-1表示上一个周期tcpInFlowSet集合中流表项数目。

通过提取tcpInFlowSet集合中的8个特征，生成tcpInFlowFeature向量，同理可得到剩余5个集合的特征向量tcpOutFlowFeature、udpInFlowFeature、udpOutFlowFeature、icmpInFlowFeature、icmpOutFlowFeature，依据这六个向量构建端口网络流量异常检测矩阵。

对六个集合分别提取上述8个特征，生成该六个集合的特征向量，即tcpInFlowFeature、tcpOutFlowFeature、udpInFlowFeature、udpOutFlowFeature、icmpInFlowFeature和icmpOutFlowFeature，根据该六个特征向量构建端口网络流量异常检测矩阵；

步骤三，使用步骤一中的基于BP神经网络的异常检测单元进行异常检测；

步骤四，当检测到异常时，Ryu控制器单元的防御流表项生成模块生成防御流表项，流表项Action部分为Drop，丢弃后续的流量，从而达到防御的目的。

本发明的整体流程如图2所示：

(1)流表信息收集模块以周期T1向OpenvSwitch交换机请求所有流表项信息，交换机回复控制器发送ofp_flow_stats_request报文，获得的流表集合作为流特征提取模块的输入，流表项结构如图3所示；

(2)流表特征提取模块对获得的流表项信息进行处理，计算出网络接入层交换机各个端口的六个特征向量，每个特征向量包含源IP信息熵、目的IP信息熵、源端口信息熵、目的端口信息熵、平均流包数、平均字节数、平均持续时间和流表生成速率八维特征，具体流程如图4所示，具体计算方式如下：

①根据流表项集合flowSet生成各个端口的tcpInFlowSet，tcpOutFlowSet，udpInFlowSet，udpOutFlowSet，icmpInFlowSet，icmpOutFlowSet六个集合；

②根据①中各个端口的六个流表集合，分别计算出各个端口的tcpInFlowFeature、tcpOutFlowFeature、udpInFlowFeature、udpOutFlowFeature、icmpInFlowFeature和icmpOutFlowFeature六个特征向量，每个特征向量包含源IP样本熵(sipH)、目的IP样本熵(dipH)、源端口样本熵(sportH)、目的端口(dportH)样本熵、平均流包数(pcountA)、平均字节数(bcountA)、平均持续时间(dcountA)和流表生成速率(FGS)八维特征，各特征计算方式分别如上述公式(1)至(8)所示；

(3)生成足够多的样本，提取各个端口的检测特征向量，训练BP神经网络，直至满足所设定的误差要求；

(4)对新收集的流表信息提取出各个端口的检测特征向量，使用训练好的BP神经网络对其进行检测，并输出结果，正常为“1”，不正常为“0”；

(5)若检测结果为“0”，则启动防御流表项生成模块，生成对应端口的防御流表项，下发至交换机，丢弃后续流量，从而达到防御的效果。

本发明的网络流量异常检测与防御方法是基于OpenFlow协议的SDN架构，与传统网络的工作模式相差巨大，可便捷地提取出源端口、目的端口、源IP、目的IP、转发数据包数、转发字节数以及持续时间等网络流量信息，并充分利用SDN架构可动态更新流规则的特点，当检测到异常时，自动生成Action为Drop的流表项，阻断后续流量；收集了网络接入层OpenvSwitch交换机的流表信息，并基于端口进行特征提取和生成特征向量，当检测到异常时，可准确地定位异常的接入端口，有利于攻击源和攻击目标的鉴别；在提取特征时，使用了信息熵的方法来描述源IP、目的IP、源端口和目的端口的变化，能更好的反应在流量异常时这些特征的变化；并提取了源IP样本熵(sipH)、目的IP样本熵(dipH)、源端口样本熵(sportH)、目的端口(dportH)样本熵、平均流包数(pcountA)、平均字节数(bcountA)、平均持续时间(dcountA)和流表生成速率(FGS)八维特征，能更好的描述流量的异常变化。

上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (1)

1.一种网络流量异常检测和防御方法，其特征在于，包括下述步骤：

S1，建立网络流量异常检测与防御架构，并收集流表项信息；

其中，所述网络流量异常检测与防御架构包括Ryu控制器单元、基于BP神经网络的异常检测单元、基于OpenFlow协议的OpenvSwitch交换机和接入设备，所述Ryu控制器单元包括流表信息收集模块、流表特征提取模块和防御流表项生成模块，所述流表信息收集模块以周期T1向OpenvSwitch交换机请求所有流表项信息；

S2，根据流表特征提取方法提取流表特征，生成特征向量，构建网络流量异常检测矩阵；

其中，所述流表特征提取方法的具体过程如下：

S2.1，根据收集到的流表项信息生成每个端口的流表项集合flowSet，其公式如下所示：

flowSet＝{(sip_i,dip_i,sport_i,dport_i,pcount_i,bcount_i,dcount_i,proto col_i)|i＝1,2,…,N_flowSet}，

其中N_flowSet表示所接受到的流表项的总条目数，sip_i表示第i条流表项中的源IP，dip_i表示第i条流表项中的目的IP，sport_i表示第i条流表项中的源端口，dport_i表示第i条流表项中的目的端口，pcount_i表示第i条流表项所接受的数据包数量，bcount_i表示第i条流表项所接受的字节量，dcount_i表示第i条流表项所持续的时间，protocol_i表示第i条流表项传输层协议；

S2.2，根据每个端口的流表项集合flowSet，传输层协议和流表的匹配方向，将flowSet分成六个集合，分别为tcpInFlowSet，tcpOutFlowSet，udpInFlowSet，udpOutFlowSet，icmpInFlowSet，icmpOutFlowSet；

其中tcpInFlowSet表示用以匹配从该端口进入的TCP流量的流表集合；tcpOutFlowSet表示用以匹配从该端口出去的TCP流量的流表集合；udpInFlowSet表示用以匹配从该端口进入的UDP流量的流表集合；udpOutFlowSet表示用以匹配从该端口出去的UDP流量的流表集合；icmpInFlowSet表示用以匹配从该端口进入的ICMP流量的流表集合；icmpOutFlowSet表示用以匹配从该端口出去的ICMP流量的流表集合；

S2.3，对六个集合分别提取特征向量，其中每个特征向量包含源IP信息熵(sipH)、目的IP信息熵(dipH)、源端口信息熵(sportH)、目的端口信息熵(dportH)、平均流包数(pcountA)、平均字节数(bcountA)、平均持续时间(dcountA)和流表生成速率(FGS)八维特征；生成该六个集合的特征向量，即tcpInFlowFeature、tcpOutFlowFeature、udpInFlowFeature、udpOutFlowFeature、icmpInFlowFeature和icmpOutFlowFeature，根据该六个集合的特征向量构建端口网络流量异常检测矩阵；

S3，使用S1中的基于BP神经网络的异常检测单元进行异常检测；具体包括以下步骤：

S3.1，生成足够多的样本，提取各个端口的检测特征向量，训练BP神经网络，直至满足所设定的误差要求；

S3.2，对新收集的流表信息提取出各个端口的检测特征向量，使用训练好的BP神经网络对其进行检测，并输出结果，正常为“1”，不正常为“0”；

S3.3，若检测结果为“0”，则启动防御流表项生成模块，生成对应端口的防御流表项，下发至交换机，丢弃后续流量，从而达到防御的效果；

S4，当检测到异常时，Ryu控制器单元的防御流表项生成模块生成防御流表项，流表项Action部分为Drop，丢弃后续的流量，从而达到防御的目的。

Images