CN108039957A - 复杂网络流量包智能分析系统 - Google Patents

Abstract

本发明提供了一种复杂网络流量包智能分析系统，包括：网络状况实时监视模块，通过对会话、应用、IP多个维度进行监控，保存对应的数据绘制出直观的排行图和趋势图，方便网络管理人员清晰的了解到目前的网络状况；告警模块，对于网络指标中超过基线阈值的数据发出告警，并记录到数据库中，系统会自动根据配置的统计时间进行学习归纳，与历史情况比较后，基于智能化网络风险监控算法动态更新基线阈值。本发明统一化解析不同类型的网络数据进行分析，支持复杂网络下的一站式解决方案，应对多种不同的网络流量数据时不需要部署多套不同的采集器。

Description

复杂网络流量包智能分析系统

技术领域

本发明涉及一种智能分析系统，具体地，涉及一种复杂网络流量包智能分析系统。

背景技术

随着网络在规模、速度和容量方面的发展，网络管理人员对大数据网流的监视和管理要求也越来越高，现有的分析器大多只能解析特定格式的数据包，而实际网络使用中可能会存在有多种格式的数据包存在，部署多套监控设备不仅实施维护成本高，后期监控数据分析呈现也面临着各种各样的问题。

现市场上的网络流量分析系统大多数是针对特定类型的网流数据包进行解析，例如单独针对Netflow进行解析或者单独针对Sflow进行解析。对于仅支持一种类型的解析器来说，如果部署的网络环境中存在其不支持的网络数据包，则此部分网流数据很容易脱离监控范围，导致最终数据的缺失。而想要获得完整的数据监控结果，现有的方案可能需要再另外部署一套专门的分析器。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种复杂网络流量包智能分析系统，其

根据本发明的一个方面，提供一种复杂网络流量包智能分析系统，其特征在于，包括：

用户管理模块，通过创建不同角色区分不同用户的权限，使得系统可以对不同的操作人员所具有的操作权限进行区分和控制；

系统信息模块，显示当前系统安装环境的硬件情况，当前系统任务运行情况等；

中央处理模块，统一管理整个系统的所有任务，包括管理下发收集处理流量数据，监控内外部组件等任务；可以对整个系统进行设置，启动或停止对应的任务或功能；

网络状况实时监视模块，通过对会话、应用、IP多个维度进行监控，保存对应的数据绘制出直观的排行图和趋势图，方便网络管理人员清晰的了解到目前的网络状况；

汇总数据展示模块，从全局的角度汇总查看分析处理过的数据，可以整体的了解目前所处的整个网络环境情况；

告警模块，对于网络指标中超过基线阈值的数据发出告警，并记录到数据库中，系统会自动根据配置的统计时间进行学习归纳，与历史情况比较后，基于智能化网络风险监控算法动态更新基线阈值；网络管理人员查看过往的所有告警记录，并且结合自身网络情况对告警条件进行手工的配置调整，以期与实际情况更加切合；

网络流量包收集模块，通过收集模块来接收网流设备发送过来的网络流量包，并发送给解析模块进行解析；

网络流量数据解析模块，根据采集器收入的流量包进行拆包解析，预配置了多种版本的Netflow和Sflow数据包格式进行判断，匹配成功后将包数据统一改装成呈现模块所需要的数据结构进行转存，分析计算网络指标，指标包含物理设备、物理端口索引号、流量、包数量、源IP、目的IP、源端口、目的端口；

网络流量入库模块，将解析后的数据按照数据类型存入对应的关系型或非关系型数据库中；

分析器监控模块，监控外部的探针设备等的运行状态，监控发送采集设备是否正常运作；

中间件状态管理模块，对整个系统所使用到的内部组件进行统一监控；

报表模块，对处理过的数据进行归档分析后，以特定的报表形式呈现出来以供展示或者统计使用；

数据归档处理模块，定时将低颗粒度的数据整合归档并通过入库模块进行入库操作，减少冗余数据量以提高系统的响应速度；

存储模块，用以存储网络流量数据解析模块中解析出的网络流量数据，包含了关系数据库和非关系型数据库；

数据库自动维护模块，根据中央处理模块的配置定时处理过期的数据库数据，并对现有的数据库性能进行自动测试反馈；

历史查询模块，用于查询在过去一定时间内的网络流量状况，包括多个维度的流量分布的TOP排名；根据告警信息，追溯到发生告警的时刻了解当时的网络流量状况。

所述网络流量数据解析模块、网络流量包收集模块和网络流量入库模块构成一个流量数据包统一解析器，用户管理模块、系统信息模块、中央处理模块、网络状况实时监视模块、历史查询模块、汇总数据展示模块、分析器监控模块、中间件状态管理模块、报表模块构成了一个流量数据分析中心，告警模块构成了智能化告警中心，数据归档处理模块、存储模块、数据库自动维护模块构成了一个流量数据存储中心。

与现有技术相比，本发明具有如下的有益效果：

一，由于统一化解析不同类型的网络数据进行分析，支持复杂网络下的一站式解决方案，应对多种不同的网络流量数据时不需要部署多套不同的采集器。

二，多维度的网络状况监控，可以从不同层面获取到网络流量状况，帮助网络管理人员迅速定位问题所在。

三，通过智能化网络风险监控算法，基线就可以随时间动态调整，监控指标更具智能性，且能依靠人工管理、时间推移通过机器学习变得更加切合每个网络环境的实际情况。

四，可拓展式的模板管理可以横向添加监控模板适配各种类型的网流数据解析。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明复杂网络流量包智能分析系统的原理图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明复杂网络流量包智能分析系统包括：

用户管理模块，通过创建不同角色区分不同用户的权限，使得系统可以对不同的操作人员所具有的操作权限进行区分和控制；

系统信息模块，显示当前系统安装环境的硬件情况，当前系统任务运行情况等；

中央处理模块，统一管理整个系统的所有任务，包括管理下发收集处理流量数据，监控内外部组件等任务；可以对整个系统进行设置，启动或停止对应的任务或功能；

网络状况实时监视模块，通过对会话、应用、IP多个维度进行监控，保存对应的数据绘制出直观的排行图和趋势图，方便网络管理人员清晰的了解到目前的网络状况；

汇总数据展示模块，从全局的角度汇总查看分析处理过的数据，可以整体的了解目前所处的整个网络环境情况；

告警模块，对于网络指标中超过基线阈值的数据发出告警，并记录到数据库中，系统会自动根据配置的统计时间进行学习归纳，与历史情况比较后，基于智能化网络风险监控算法动态更新基线阈值；网络管理人员查看过往的所有告警记录，并且结合自身网络情况对告警条件进行手工的配置调整，以期与实际情况更加切合；

网络流量包收集模块，通过收集模块来接收网流设备发送过来的网络流量包，并发送给解析模块进行解析；

网络流量数据解析模块，根据采集器收入的流量包进行拆包解析，预配置了多种版本的Netflow和Sflow数据包格式进行判断，匹配成功后将包数据统一改装成呈现模块所需要的数据结构进行转存，分析计算网络指标，指标包含物理设备、物理端口索引号、流量、包数量、源IP、目的IP、源端口、目的端口；

网络流量入库模块，将解析后的数据按照数据类型存入对应的关系型或非关系型数据库中；

分析器监控模块，监控外部的探针设备等的运行状态，监控发送采集设备是否正常运作；

中间件状态管理模块，对整个系统所使用到的内部组件进行统一监控；

报表模块，对处理过的数据进行归档分析后，以特定的报表形式呈现出来以供展示或者统计使用；

数据归档处理模块，定时将低颗粒度的数据整合归档并通过入库模块进行入库操作，减少冗余数据量以提高系统的响应速度；

存储模块，用以存储网络流量数据解析模块中解析出的网络流量数据，包含了关系数据库和非关系型数据库；

数据库自动维护模块，根据中央处理模块的配置定时处理过期的数据库数据，并对现有的数据库性能进行自动测试反馈；

历史查询模块，用于查询在过去一定时间内的网络流量状况，包括多个维度的流量分布的TOP排名；根据告警信息，追溯到发生告警的时刻了解当时的网络流量状况。

网络流量数据解析模块、网络流量包收集模块和网络流量入库模块构成一个流量数据包统一解析器，用户管理模块、系统信息模块、中央处理模块、网络状况实时监视模块、历史查询模块、汇总数据展示模块、分析器监控模块、中间件状态管理模块、报表模块构成了一个流量数据分析中心，告警模块构成了智能化告警中心，数据归档处理模块、存储模块、数据库自动维护模块构成了一个流量数据存储中心。

系统整体结构如图1所示，在不同类型的Flow Agent端配置统一的报文发送路径，然后该Agent将原始报文数据发送给系统端进行统一解析，所有Agent端的配置统一，无需配置多套系统。在3中流量数据包根据预配置模板将网络数据报文先按照网络指标统一解析算法进行解析，采用多线程的方法同步加载多个模板进行校验，系统会根据算法比较特定的多个标志位，撷取标志位附近的字段进行校验，同时辅以多线程技术，用多个线程并发多模板校验，实时同步校验结果，以此提高校验环节的效率；校验完的报文按需求过滤出所需字段解析为统一的数据格式，送入流量数据分析中心，原始报文数据则直接存入非关系型数据库中供归档使用。智能化告警中心根据分析的数据发送响应的告警。管理人员则能在前台的图形化界面中操作浏览实时或者历史的网络流量状况。

本发明还提供一种基于Netflow和Sflow的网络指标统一解析算法，包括含物理设备、物理端口索引号、流量(总、进、出)、包数量(总、进、出)、源IP、目的IP、源端口、目的端口。其中统一解析主要根据网络流量包模板匹配实现，模板匹配过程如下：复杂网络流量数据分析系统(以下简称为系统)接受到agent端配置发送过来的网络流量包；系统加载预设的(可配置拓展)流量包解析模板，进行循环校验；由于Netflow和Sflow包具有特定的格式，在拆包解析后，进行校验时，系统会根据算法比较特定的多个标志位，撷取标志位附近的字段进行校验，以此提高校验环节的效率；如果接收到的网络流量数据包成功通过模板校验，则匹配成功，进行数据解析环节；如果校验失败，则匹配不通过，套用下一个模板进行校验；将不同模板校验解析的结果统一化格式，存储为固定的物理设备、物理端口索引号、流量(总、进、出)、包数量(总、进、出)、源IP、目的IP、源端口、目的端口格式，转存到数据库中。

本发明还提供一种智能化网络风险监控算法，包括自动产生可调节的告警基线阈值，自动记录异常网流的特征值。以单个IP地址为例，自动产生可调节的告警基线阈值具体实现原理如下：首先系统会根据第一个时间周期定下一个基准值S，该基准值为第一个周期内平均值和阈值的差值；以及另一个基准值X，该基准值为(第一个周期内发生告警的次数/该指标获取到的总次数)；查询该IP获取过去一段时间的告警历史记录和正常情况下的流量记录：默认以七天内的数据为基准进行算法分析，该时间可自自定义配置；将发生告警时的流量值与原阈值O进行计算，获取差值后取平均值N，并记下权值Y，Y为(七天内发生告警的次数/七天内该指标获取到的总次数)，将7天内流量的平均值与原阈值O进行计算，取差值M；如果M值大于S，说明时间段内网络流量增加，更趋向于超阈值，告警阈值可能需要适当增加；如果M值小于S，说明时间段内网络流量减少，很难超过原有阈值产生告警，告警阈值可能需要适当减少；根据上一步的结果，系统会计算出一个新的阈值，新阈值为原阈值加上或减去了浮动值，加减根据上一步比较的结果而定，浮动值初始可能变化较大，后续步骤中会有涉及此值的描述，同时基准值S也需要根据浮动值进行调整；浮动值基于M,N和Y进行计算，若Y大于X，说明发生超阈值的频率变高了，证明实际阈值可能动态偏低，反之Y小于X说明频率变低，阈值可能动态偏高。系统自动生成的阈值会在下一个周期中生效，但是原阈值在这个周期中仍然正常生效。区别是，新阈值产生的告警会有一个新阈值标记，网络管理人员可以根据实际情况对这个新阈值选择保留或者舍弃操作，若保留，则原有阈值被舍弃，以新阈值作为基准，且浮动值在原有基础上增加，因为可能仍存在浮动值小于实际阈值变化需要；若舍弃，则仍以原阈值作为标准，且浮动值在原有基础上减少，因为说明实际情况并没有产生等同于浮动值的阈值变化；若下一个周期网络管理人员未有操作，则默认以新阈值作为标准，浮动值的更新同上述保留操作。

当今网络结构愈发庞大，网络流量也更复杂，仅凭单一类型的网络流量分析器往往不能兼顾所有的数据。所以通过本发明中流量包统一解析算法的结合，利用一体化解析器的优点，可以一次部署同时兼容分析多种类型的网络流量数据，大大提高系统准确性、可靠性、扩展性。相比较于当前市场上通用的网络流量分析产品，本发明通过具体的客户端、统一解析算法、智能化网络风险监控，使监控更直观、准确、智能，更适合于具体业务的网络指标监控，能智能化监控网络风险并发送告警提示，快速定位问题网络流量，提高排障效率。本发明通过智能化网络风险监控算法，自动产生可调节的告警基线阈值，自动记录异常网流的特征值，在具有智能化风险控制的同时，也可以借由人工配置提高监控准确性。一方面通过机器学习减少人工操作成本，另一方面可以通过人为操作避免特殊情况下产生的误差。本发明采用关系型数据库和非关系型数据库并用的模式，依照数据特点将数据进行分类存储，提高整个系统的数据读写速度，进而提高响应速度使系统数据呈现、收集速度也得到提高。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (2)

1.一种复杂网络流量包智能分析系统，其特征在于，包括：

用户管理模块，通过创建不同角色区分不同用户的权限，使得系统可以对不同的操作人员所具有的操作权限进行区分和控制；

系统信息模块，显示当前系统安装环境的硬件情况，当前系统任务运行情况等；

中央处理模块，统一管理整个系统的所有任务，包括管理下发收集处理流量数据，监控内外部组件等任务；可以对整个系统进行设置，启动或停止对应的任务或功能；

网络状况实时监视模块，通过对会话、应用、IP多个维度进行监控，保存对应的数据绘制出直观的排行图和趋势图，方便网络管理人员清晰的了解到目前的网络状况；

汇总数据展示模块，从全局的角度汇总查看分析处理过的数据，可以整体的了解目前所处的整个网络环境情况；

告警模块，对于网络指标中超过基线阈值的数据发出告警，并记录到数据库中，系统会自动根据配置的统计时间进行学习归纳，与历史情况比较后，基于智能化网络风险监控算法动态更新基线阈值；网络管理人员查看过往的所有告警记录，并且结合自身网络情况对告警条件进行手工的配置调整，以期与实际情况更加切合；

网络流量包收集模块，通过收集模块来接收网流设备发送过来的网络流量包，并发送给解析模块进行解析；

网络流量数据解析模块，根据采集器收入的流量包进行拆包解析，预配置了多种版本的Netflow和Sflow数据包格式进行判断，匹配成功后将包数据统一改装成呈现模块所需要的数据结构进行转存，分析计算网络指标，指标包含物理设备、物理端口索引号、流量、包数量、源IP、目的IP、源端口、目的端口；

网络流量入库模块，将解析后的数据按照数据类型存入对应的关系型或非关系型数据库中；

分析器监控模块，监控外部的探针设备等的运行状态，监控发送采集设备是否正常运作；

中间件状态管理模块，对整个系统所使用到的内部组件进行统一监控；

报表模块，对处理过的数据进行归档分析后，以特定的报表形式呈现出来以供展示或者统计使用；

数据归档处理模块，定时将低颗粒度的数据整合归档并通过入库模块进行入库操作，减少冗余数据量以提高系统的响应速度；

存储模块，用以存储网络流量数据解析模块中解析出的网络流量数据，包含了关系数据库和非关系型数据库；

数据库自动维护模块，根据中央处理模块的配置定时处理过期的数据库数据，并对现有的数据库性能进行自动测试反馈；

历史查询模块，用于查询在过去一定时间内的网络流量状况，包括多个维度的流量分布的TOP排名；根据告警信息，追溯到发生告警的时刻了解当时的网络流量状况。

2.根据权利要求1所述的复杂网络流量包智能分析系统，其特征在于，所述网络流量数据解析模块、网络流量包收集模块和网络流量入库模块构成一个流量数据包统一解析器，用户管理模块、系统信息模块、中央处理模块、网络状况实时监视模块、历史查询模块、汇总数据展示模块、分析器监控模块、中间件状态管理模块、报表模块构成了一个流量数据分析中心，告警模块构成了智能化告警中心，数据归档处理模块、存储模块、数据库自动维护模块构成了一个流量数据存储中心。