CN105007175A - 一种基于openflow的流深度关联分析方法及系统 - Google Patents

Abstract

本发明提供了一种基于openflow的流深度关联分析方法，包括：openflow流采集器将接收的数据包按照流进行记录，对所述流信息进行压缩，并将压缩后的流信息发送至流分析控制器；流分析控制器根据连接状态，对接收到的流信息进行整合；流分析控制器从多个维度对整合后的流信息进行分析，得到分析结果；将所述分析结果与预设阈值进行比较，若所述分析结果超过预设阈值，则发出警告，并生成报表。本发明还提供了一种基于openflow的流深度关联分析系统，包括流分析控制器及至少一个openflow流采集器。本发明能够对流进行采集、归类、联合，满足应用进行日志分析、安全分析的要求。

Description

一种基于openflow的流深度关联分析方法及系统

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种基于openflow的流深度关联分析方法及系统。

背景技术

传统网络中的数据分析方法有基于包抽样、基于连接和基于NetFlow等，具体如下：(1)基于包抽样的方法。该方法依据一定的算法对数据链路上所传输的包进行采样，抽取一部分包进行分析。(2)基于连接的方法。该方法将链路上的包按流进行重组，并记录连接的状态，进而对各个连接进行分析。(3)基于NetFlow的方法。该方法通过Cisco的NetFlow协议，将各链路上的流信息汇总到服务器，然后进行分析。

然而上述数据分析方法存在如下功能上的缺陷：(1)传统网络数据分析方法中的包抽样方法粒度较粗，可能会漏掉网络中的关键异常行为。(2)基于连接的方法负载太重，无法应用于高速网络中。(3)由于NetFlow没有保存数据链路层的信息、连接状态信息和用户信息等，基于NetFlow的方法无法提供相关的分析结果，不能满足对网络流量多种维度的分析要求，尤其是无法满足安全事件行为分析的场景。

发明内容

针对现有技术不能满足对网络流量多种维度的分析要求，尤其是无法满足安全事件行为分析的的缺陷，本发明提供了一种基于openflow的流深度关联分析方法及系统。

第一方面，本发明提供了一种基于openflow的流深度关联分析方法，该方法包括：

openflow流采集器将接收的数据包按照流进行记录，对所述流信息进行压缩，并将压缩后的流信息发送至流分析控制器；

流分析控制器根据连接状态，对接收到的流信息进行整合；

流分析控制器从多个维度对整合后的流信息进行分析，得到分析结果；

将所述分析结果与预设阈值进行比较，若所述分析结果超过预设阈值，则发出警告，并生成报表。

优选地，所述openflow流采集器将接收的数据包按照流进行记录，包括：

openflow流采集器将接收的数据包按照流进行记录，并根据流的协议在所述流中加入不同的信息；

其中，所述信息包括：时间、包数量、字节数、持续时间、物理服务器IP地址、源MAC地址、目的MAC地址、源IP地址、目的IP地址、源端口、目的端口、协议类型、流的方向、VLAN Tag、TCP Flags和Ethernet Type。

优选地，所述流分析控制器根据连接状态，对接收到的流信息进行整合，包括：

流分析控制器将同一个流的数据进行合并，并根据连接状态，将同一连接的不同流进行合并。

优选地，所述流分析控制器从多个维度对整合后的流信息进行分析，得到分析结果，包括：

流分析控制器读取租户信息及整合后的流信息，根据MAC地址将流映射到租户，并针对不同的应用进行分析；

流分析控制器从包括资源、时间、端口及协议的多个维度对流信息进行统计，得到预设时间段内TCP半开连接的数量，同一IP地址所连接的IP地址的数量，同一IP地址所连接的端口的数量，同一MAC地址所发送的ARP包的数量，以及同一虚拟机所发送和接收的字节数。

优选地，所述流分析控制器从多个维度对整合后的流信息进行分析，得到分析结果的步骤后，所述方法还包括：

将所述分析结果保存至数据库中；

从所述数据库中读取所述分析结果，并将所述分析结果通过呈现界面展现出来。

第二方面，本发明提供了一种基于openflow的流深度关联分析系统，该系统包括：流分析控制器及至少一个openflow流采集器；

openflow流采集器，与所述流分析控制器连接，用于将接收的数据包按照流进行记录，对所述流信息进行压缩，并将压缩后的流信息发送至流分析控制器；

流分析控制器，用于根据连接状态，对接收到的流信息进行整合；从多个维度对整合后的流信息进行分析，得到分析结果；将所述分析结果与预设阈值进行比较，若所述分析结果超过预设阈值，则发出警告，并生成报表。

优选地，所述openflow流采集器包括内核模块及用户空间模块，其中：

内核模块，用于将接收的数据包按照流进行记录并根据流的协议在所述流中加入不同的信息；

其中，所述信息包括：时间、包数量、字节数、持续时间、物理服务器IP地址、源MAC地址、目的MAC地址、源IP地址、目的IP地址、源端口、目的端口、协议类型、流的方向、VLAN Tag、TCP Flags和Ethernet Type；

用户空间模块，用于将内核模块中的流复制到用户空间，并对所述流进行压缩。

优选地，所述流分析控制器包括流采集及控制模块，用于：

流分析控制器将同一个流的数据进行合并，并根据连接状态，将同一连接的不同流进行合并。

优选地，所述流分析控制器还包括应用分析模块，用于：

流分析控制器读取租户信息及整合后的流信息，根据MAC地址将流映射到租户，并针对不同的应用进行分析；

流分析控制器从包括资源、时间、端口及协议的多个维度对流信息进行统计，得到预设时间段内TCP半开连接的数量，同一IP地址所连接的IP地址的数量，同一IP地址所连接的端口的数量，同一MAC地址所发送的ARP包的数量，以及同一虚拟机所发送和接收的字节数。

优选地，所述流分析控制器还包括呈现接口模块，用于：

从数据库中读取分析结果，并将所述分析结果通过呈现界面展现出来。

由上述技术方案可知，本发明提供一种基于openflow的流深度关联分析方法及系统，能够对虚拟网络、物理网络中的所有流量进行采集、归类、联合，并进行分析，能够满足对网络流量多种维度的分析要求，尤其是能够满足安全事件行为分析的要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1是本发明一实施例提供的基于openflow的流深度关联分析方法的流程示意图；

图2是本发明一实施例提供的基于openflow的流深度关联分析系统的结构示意图；

图3是本发明另一实施例提供的基于openflow的流深度关联分析系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明一实施例提供的一种基于openflow的流深度关联分析方法的流程示意图，该方法包括如下步骤：

S1：openflow流采集器将接收的数据包按照流进行记录，对所述流信息进行压缩，并将压缩后的流信息发送至流分析控制器。

具体来说，各服务器的openflow流采集器将压缩后的流信息发送给流分析控制器进行汇总。

S2：流分析控制器根据连接状态，对接收到的流信息进行整合。

具体来说，流分析控制器维护着一个重组队列，以对接收到的所有流信息进行重组整合。

S3：流分析控制器从多个维度对整合后的流信息进行分析，得到分析结果。

具体来说，流分析控制器可从资源、时间、端口及协议等多个维度进行统计，得到相应的统计结果。

S4：将所述分析结果与预设阈值进行比较，若所述分析结果超过预设阈值，则发出警告，并生成报表。

其中，预设阈值可根据不同的应用场景进行调整。上述报表为发出警告对应的信息列表。

本实施例中，步骤S1中openflow流采集器将接收的数据包按照流进行记录，具体包括：

openflow流采集器将接收的数据包按照流进行记录，并根据流的协议在所述流中加入不同的信息，例如对于TCP流，会插入连接的服务状态等信息。

其中，加入流中的信息包括：时间、包数量、字节数、持续时间、物理服务器IP地址、源MAC地址、目的MAC地址、源IP地址、目的IP地址、源端口、目的端口、协议类型、流的方向、VLAN Tag、TCP Flags和Ethernet Type等。

本实施例中，步骤S2，具体包括：

流分析控制器将同一个流的数据进行合并，并根据连接状态，将同一连接的不同流进行合并。

本实施例中，步骤S3，具体包括：

流分析控制器读取租户信息及整合后的流信息，根据MAC地址将流映射到租户，并针对不同的应用进行分析；

流分析控制器从包括资源、时间、端口及协议的多个维度对流信息进行统计，得到预设时间段内TCP半开连接的数量，同一IP地址所连接的IP地址的数量，同一IP地址所连接的端口的数量，同一MAC地址所发送的ARP包的数量，以及同一虚拟机所发送和接收的字节数等。

则相应地，步骤S4包括：

将上述多个分析结果分别与多个对应的预设阈值进行比较，若某一分析结果超过其对应的预设阈值，则进行告警，并生成相应的报表。

本实施例中，步骤S3之后，所述方法还包括如下步骤：

将所述分析结果保存至数据库中；

从所述数据库中读取所述分析结果，并将所述分析结果通过呈现界面展现出来。

本实施例提供了一种基于openflow的流深度关联分析方法，实现了SDN环境中对网络行为的高效分析基础：能将虚拟、物理网络中的所有流量进行采集分析，一般网络分析方法通过采样的方式仅能获取部分连接信息；而且，本实施例在流中加入了基于TCP状态的收集，能够监控连接的完整建立和关闭，并能够记录其变更过程和时间。记录信息丰富，除了openflow常规的元组外，能够记录连接的字节数、连接持续时间、用户信息等。

控制器流重组中适应虚拟网络中的状态变更自动更新，如虚拟机、资源发生迁移时，系统能够维护强一致性状态。

如图2所示，本发明提供了一种基于openflow的流深度关联分析系统，该系统包括：流分析控制器及至少一个openflow流采集器；

openflow流采集器，与所述流分析控制器连接，用于将接收的数据包按照流进行记录，对所述流信息进行压缩，并将压缩后的流信息发送至流分析控制器；

流分析控制器，用于根据连接状态，对接收到的流信息进行整合；从多个维度对整合后的流信息进行分析，得到分析结果；将所述分析结果与预设阈值进行比较，若所述分析结果超过预设阈值，则发出警告，并生成报表。

需要说明的是，openflow流采集器部署于Open vSwitch运行的操作系统，流分析控制器为独立的服务器，能够对收集的流信息进行流重组，并按序归类，为上层应用提供访问API。

本实施例中，如图3所示，所述openflow流采集器包括内核模块及用户空间模块，其中：

内核模块，用于将接收的数据包按照流进行记录并根据流的协议在所述流中加入不同的信息；

其中，所述信息包括：时间、包数量、字节数、持续时间、物理服务器IP地址、源MAC地址、目的MAC地址、源IP地址、目的IP地址、源端口、目的端口、协议类型、流的方向、VLAN Tag、TCP Flags和Ethernet Type；

用户空间模块，用于将内核模块中的流复制到用户空间，并对所述流进行压缩。

具体来说，openflow流采集器将内核空间映射到用户空间，实现内核模块和用户空间模块的内存共享，且用户空间模块批量高效地将内核模块中的流复制到用户空间中，并进行压缩。

本实施例中，如图3所示，所述流分析控制器包括流采集及控制模块，用于：

流分析控制器将同一个流的数据进行合并，并根据连接状态，将同一连接的不同流进行合并。

需要说明的是，流采集及控制模块还用于向各个服务器中的openflow流采集器下发采集命令，控制openflow流采集器进行采集。

本实施例中，如图3所示，所述流分析控制器还包括应用分析模块，用于：

流分析控制器读取的租户信息及整合后的流信息，根据MAC地址将流映射到租户，并针对不同的应用进行分析；

流分析控制器从包括资源、时间、端口及协议的多个维度对流信息进行统计，得到预设时间段内TCP半开连接的数量，同一IP地址所连接的IP地址的数量，同一IP地址所连接的端口的数量，同一MAC地址所发送的ARP包的数量，以及同一虚拟机所发送和接收的字节数。

如图3所示，流分析控制器还包括告警模块，用于当分析结果超过预设阈值时，发出警告，并生成报表。

本实施例中，如图3所示，所述流分析控制器还包括呈现接口模块，用于：

从数据库中读取分析结果，并将所述分析结果通过呈现界面展现出来。

如图3所示，本实施例中的系统还包括数据库，用于存储分析结果及接收到的流信息的原始数据。

可理解的是，本实施例可应用于数据中心、云计算基础平台或企业私有云业务中，能够为基础架构平台提供网络流量分析、应用分析、网络安全行为分析等支持。

对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

为了更清楚地说明本发明的技术方案，下面对几个较为具体的实施例进行说明。

实施例1

云环境中虚拟网络发生SYN Flood攻击检测实例：

云环境中存在数量庞大的用户，这些用户所租用的资源因为共享大的资源池，一旦某云主机发生安全问题，如成为黑客发起攻击的肉鸡，将会对云中其他用户业务产生很大的影响。利用本发明，能够为云的运营者提供便利的手段，迅速有效的了解到攻击发生的位置和攻击方式。

以云环境中某云主机成为黑客的肉鸡(受黑客远程控制的电脑)，开始向外网发起SYN Flood攻击为例，本实施例能够迅速识别出攻击行为：

1)黑客所攻陷的云主机向外发起SYN Flood攻击；

2)为了掩饰攻击行为，黑客伪造了大量假的源地址、源端口。攻击主机所发出的流量PPS约为10k。

3)攻击流量和正常流量同时进入Open vSwitch，因为攻击流量太大，导致新建连接太多，影响到正常流量。

4)流采集模块将所有流量记录，并从内核导入给用户空间模块，然后将其经过压缩之后传给流分析控制器。

5)流分析控制器所维护的重组队列，根据连接状态，将同连接的不同流进行合并、状态更新、统计累加。

6)应用分析模块调用SYN Flood检测模块进行分析。

7)SYN Flood检测模块从资源、时间、端口和协议等多个维度进行统计信息，判断是否超过阈值。

8)如超过阈值，则调用告警模块，并生成报表。

实施例2

云环境中发生安全漏洞扫描检测实例：

云环境中某云主机存在安全风险，对云平台内部虚拟机进行端口扫描。流分析控制器调用应用分析模块对所收到的流信息进行分析，发现该云主机发起的连接频率超过了阈值，调用告警模块通知管理员，并生成报表在界面展示。具体包括：

1)某主机向其他主机开始进行端口扫描，嗅探云中有安全漏洞的机器。

2)攻击主机向每个主机所发送的扫描包并不多，很难通过大流量分析检查发现安全异常行为，会被大量正常流量所掩盖。

3)流采集模块将所有流量记录，并从内核导入给用户空间模块，然后将其经过压缩之后传给流分析控制器。

4)流分析控制器所维护的重组队列，根据连接状态，将同连接的不同流进行合并、状态更新、统计累加。

5)应用分析模块调用安全扫描检测模块进行分析，统计每个IP在固定时间内流量所经过的连接数。

6)安全扫描检测模块从资源、时间、端口和协议等多个维度进行统计信息，判断是否超过阈值。

8)如超过阈值，则调用告警模块，并生成报表。

实施例3

云环境中业务动态扩容决策实例：

云环境中随着业务的动态扩展，出现资源量无法满足业务需求，需要进行动态调整。利用本实施例的方法，可以实现精确定量分析，根据既定策略反馈给云平台，从而可以对资源量进行动态调整。具体包括：

1)用户部署业务系统，定时获取连接统计信息并上报控制器。

2)上报控制器信息中包括了正常连接、未正常建立连接、带宽使用率、并发连接等多个信息。

3)流采集模块将所有流量记录，并从内核导入给用户空间模块，然后将其经过压缩之后传给流分析控制器。

4)流分析控制器所维护的重组队列，根据连接状态，将同连接的不同流进行合并、状态更新、统计累加。

6)应用分析模块调用应用健康检测模块进行分析。

7)应用健康检测模块从资源、时间、端口和协议等多个维度进行统计信息，判断是否超过阈值。

8)如超过阈值，则调用告警模块，并生成报表。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上实施方式仅适于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种基于openflow的流深度关联分析方法，其特征在于，该方法包括：

openflow流采集器将接收的数据包按照流进行记录，对所述流信息进行压缩，并将压缩后的流信息发送至流分析控制器；

流分析控制器根据连接状态，对接收到的流信息进行整合；

流分析控制器从多个维度对整合后的流信息进行分析，得到分析结果；

将所述分析结果与预设阈值进行比较，若所述分析结果超过预设阈值，则发出警告，并生成报表。

2.根据权利要求1所述的方法，其特征在于，所述openflow流采集器将接收的数据包按照流进行记录，包括：

openflow流采集器将接收的数据包按照流进行记录，并根据流的协议在所述流中加入不同的信息；

其中，所述信息包括：时间、包数量、字节数、持续时间、物理服务器IP地址、源MAC地址、目的MAC地址、源IP地址、目的IP地址、源端口、目的端口、协议类型、流的方向、VLAN Tag、TCP Flags和Ethernet Type。

3.根据权利要求1所述的方法，其特征在于，所述流分析控制器根据连接状态，对接收到的流信息进行整合，包括：

流分析控制器将同一个流的数据进行合并，并根据连接状态，将同一连接的不同流进行合并。

4.根据权利要求1所述的方法，其特征在于，所述流分析控制器从多个维度对整合后的流信息进行分析，得到分析结果，包括：

流分析控制器读取租户信息及整合后的流信息，根据MAC地址将流映射到租户，并针对不同的应用进行分析；

流分析控制器从包括资源、时间、端口及协议的多个维度对流信息进行统计，得到包括预设时间段内TCP半开连接的数量，同一IP地址所连接的IP地址的数量，同一IP地址所连接的端口的数量，同一MAC地址所发送的ARP包的数量，以及同一虚拟机所发送和接收的字节数的分析结果。

5.根据权利要求1所述的方法，其特征在于，所述流分析控制器从多个维度对整合后的流信息进行分析，得到分析结果的步骤后，所述方法还包括：

将所述分析结果保存至数据库中；

从所述数据库中读取所述分析结果，并将所述分析结果通过呈现界面展现出来。

6.一种基于openflow的流深度关联分析系统，其特征在于，该系统包括：流分析控制器及至少一个openflow流采集器；

openflow流采集器，与所述流分析控制器连接，用于将接收的数据包按照流进行记录，对所述流信息进行压缩，并将压缩后的流信息发送至流分析控制器；

流分析控制器，用于根据连接状态，对接收到的流信息进行整合；从多个维度对整合后的流信息进行分析，得到分析结果；将所述分析结果与预设阈值进行比较，若所述分析结果超过预设阈值，则发出警告，并生成报表。

7.根据权利要求6所述的系统，其特征在于，所述openflow流采集器包括内核模块及用户空间模块，其中：

内核模块，用于将接收的数据包按照流进行记录并根据流的协议在所述流中加入不同的信息；

其中，所述信息包括：时间、包数量、字节数、持续时间、物理服务器IP地址、源MAC地址、目的MAC地址、源IP地址、目的IP地址、源端口、目的端口、协议类型、流的方向、VLAN Tag、TCP Flags和Ethernet Type；

用户空间模块，用于将内核模块中的流复制到用户空间，并对所述流进行压缩。

8.根据权利要求6所述的系统，其特征在于，所述流分析控制器包括流采集及控制模块，用于：

流分析控制器将同一个流的数据进行合并，并根据连接状态，将同一连接的不同流进行合并。

9.根据权利要求6所述的系统，其特征在于，所述流分析控制器还包括应用分析模块，用于：

流分析控制器读取租户信息及整合后的流信息，根据MAC地址将流映射到租户，并针对不同的应用进行分析；

流分析控制器从包括资源、时间、端口及协议的多个维度对流信息进行统计，得到包括预设时间段内TCP半开连接的数量，同一IP地址所连接的IP地址的数量，同一IP地址所连接的端口的数量，同一MAC地址所发送的ARP包的数量，以及同一虚拟机所发送和接收的字节数的分析结果。

10.根据权利要求6所述的系统，其特征在于，所述流分析控制器还包括呈现接口模块，用于：

从数据库中读取分析结果，并将所述分析结果通过呈现界面展现出来。