CN108429651B - 流量数据检测方法、装置、电子设备及计算机可读介质 - Google Patents

Abstract

本申请涉及一种流量数据检测方法、装置、电子设备及计算机可读介质。该方法包括：获取电子设备的流量数据；由所述流量数据中提取检测数据；通过异常数据剔除技术分析所述检测数据以确定所述流量数据是否存在异常；以及在所述流量数据存在异常时，生成告警信息。本申请涉及的流量数据检测方法、装置、电子设备及计算机可读介质，能够有效检测网络流量是否存在异常，发现潜在的未知的网络威胁。

Description

流量数据检测方法、装置、电子设备及计算机可读介质

技术领域

本申请涉及计算机信息处理领域，具体而言，涉及一种流量数据检测方法、装置、电子设备及计算机可读介质。

背景技术

在网络环境中，可能包含非法网络操作，比如木马、蠕虫等恶意程序进行的传播和攻击行为，严重危害用户网络安全，造成存隐私数据泄漏、应用服务宕机、网络堵塞等后果。

目前，经常使用防火墙(Firewall)技术来阻断外部网络中的威胁，防火墙是一种典型的边界设备，主要是通过访问控制来阻断外部威胁。但随着Web(World Wide Web，万维网)服务的不断发展，隐藏在HTTP(HyperText Transfer Protocol，超文本传输协议)等基础协议之上的应用层攻击越来越多。同时，这些攻击手法也越来越隐蔽，很多情况下，攻击行为对于电子设备而言仅仅相当于一次正常的Web访问，在这种情况下，电子设备的防火墙是无法识别和阻止这类的攻击行为的，而且，电子设备的防火墙也不能阻止来自电子设备集群内部的，电子设备之间的网络攻击行为。

发明内容

有鉴于此，本申请提供一种流量数据检测方法、装置、电子设备及计算机可读介质，能够有效检测网络流量是否存在异常，发现潜在的未知的网络威胁。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请的一方面，提出一种流量数据检测方法，该方法包括：获取电子设备的流量数据；由所述流量数据中提取检测数据；通过格拉布斯准则与温特斯预测分析所述检测数据以确定所述流量数据是否存在异常；以及在所述流量数据存在异常，生成告警信息。

在一个实施例中，通过所述流量数据的数值确定告警等级。

根据本申请的一方面，提出一种流量数据检测装置，该装置包括：流量数据模块，用于获取电子设备的流量数据；检测数据模块，用于由所述流量数据中提取检测数据；异常判断模块，用于通过格拉布斯准则与温特斯预测分析所述检测数据以确定所述流量数据是否存在异常；以及告警信息模块，用于在所述流量数据存在异常时，生成告警信息。

根据本申请的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。

根据本申请的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。

根据本申请的流量数据检测方法、装置、电子设备及计算机可读介质，能够有效检测网络流量是否存在异常，发现潜在的未知的网络威胁。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

通过参照附图详细描述其示例实施例，本申请的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例的一种流量数据检测方法及装置的系统框图。

图2是根据一示例性实施例的一种流量数据检测方法及装置的应用场景示意图。

图3是根据一示例性实施例的一种流量数据检测方法的流程图。

图4是根据另一示例性实施例的一种流量数据检测方法的流程图。

图5是根据一示例性实施例的一种流量数据检测方法的示意图。

图6是根据一示例性实施例的一种流量数据检测方法的示意图。

图7是根据另一示例性实施例的一种流量数据检测方法的流程图。

图8是根据一示例性实施例的一种流量数据检测方法的示意图。

图9是根据一示例性实施例的一种流量数据检测方法的示意图。

图10是根据一示例性实施例的一种流量数据检测方法的流程图。

图11是根据一示例性实施例的一种流量数据检测装置的框图。

图12是根据另一示例性实施例的一种流量数据检测装置的框图。

图13是根据一示例性实施例的一种电子设备的框图。

图14是根据一示例性实施例的一种计算机可读存储介质示意图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本申请概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本申请所必须的，因此不能用于限制本申请的保护范围。

当前，非法的网络操作，比如木马、蠕虫等恶意程序进行的传播和攻击行为，通常会引起网络流量的变化。传统的基于特征检测的方法不能对这类未知的网络风险进行有效检测，根据这个特点，解决方案主要有入侵检测(Intrusion Detection Systems，IDS)、入侵防御(Intrusion Prevention System，IPS)等安全防护方式，这些方式主要是通过模式匹配、协议分析、异常流量统计等特征匹配方式进行检测攻击，其特点是针对已知的攻击类型进行检测和防御。

其中，IDS是依照一定的安全策略，通过软、硬件，对网络、系统的运行状况进行监视，尽可能发现各种攻击企图、攻击行为或者攻击结果，以保证网络系统资源的机密性、完整性和可用性。

IPS是一部能够监视网络或网络设备的网络资料传输行为的计算机网络安全设备，能够即时的中断、调整或隔离一些不正常或是具有伤害性的网络资料传输行为。

但是，恶意程序对自身特征的“伪装”情况也越来越多，而且越来越广泛。通常情况下，恶意程序只需修改一个“二进制代码”即可改变自身木马的特征，因此依靠匹配模式对这些恶意程序进行“扫荡”则会力不从心。IDS、IPS等安全防护程序只能随着恶意程序的不断变化，通过不断地增加对恶意程序进行判别的特征规则来达到识别的目的，随着恶意程序的增多，这种方式直接增加了系统匹配运算负担，终会使系统整体性能降低，甚至检测功能瘫痪。另外，利用规则的检测方式，永远要比新型攻击的出现延迟一段时间，新增规则的速度赶不上攻击变化的速度，网络环境会持续受到未知网络攻击的威胁。

针对以上存在的问题，本申请的流量数据检测方法基于非特征匹配的检测技术，可检测预防未知的恶意网络行为，可以有效检测网络流量是否存在异常，发现潜在的未知的网络威胁。

下面将对本申请的流量数据检测方法及装置进行详细介绍。

图1是根据一示例性实施例的一种流量数据检测方法及装置的系统框图。

如图1所示，系统架构10可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与其他终端设备进行信息交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如在用户利用终端设备101、102、103进行网络浏览时提供网络数据安全支持的服务器。服务器105可以对用户利用终端设备101、102、103与外界交互的数据进行分析等处理，并将处理结果(例如是否存在异常流量，是否报警)反馈给终端设备。

服务器105可例如获取电子设备的流量数据；服务器105可例如由所述流量数据中提取检测数据；服务器105可例如通过格拉布斯准则与温特斯预测分析所述检测数据以确定所述流量数据是否存在异常；服务器105还可例如在所述流量数据存在异常，且所述流量数据不满足特征规则时，生成告警信息。

其中，格拉布斯准则是指在某个测量值的残余误差的绝对值大于预定值时，判断此值中有重大误差，应以剔除。温特斯预测是在历史数据的基础下，预测下一时刻数据的数学方法，是一种适用于网络数据预测的方法。特征规则可例如为行为纠偏，行为纠偏是指利用专家规则集合对产生的行为结果进行校正，使结果更加准确。

图2是根据一示例性实施例的一种流量数据检测方法及装置的应用场景示意图。如图2所示，在实际的应用场景中，本申请的流量数据检测装置10可以位于用户终端与互联网之间，在用户终端通过交换机与外界网络进行数据通信时，流量数据检测装置10通过主动读取交换机上的数据流，进而实现对恶意程序的主动检测和分析。本申请的流量数据检测方法及装置还可用于弥补沙箱分析和网络特征检测的不足，用于发现潜在未知的异常网络行为。

需要说明的是，本申请实施例所提供的流量数据检测方法可以由服务器105执行，相应地，流量数据检测装置可以设置于服务器105中。而提供给用户进行网页浏览的网页端一般位于终端设备101、102、103中。

根据本申请的流量数据检测方法、装置、电子设备及计算机可读介质，利用格拉布斯，温特斯预测，以及行为纠偏技术，可以有效检测网络流量是否存在异常，发现潜在的未知的网络威胁。

图3是根据一示例性实施例的一种流量数据检测方法的流程图。本申请的流量数据检测方法30至少包括步骤S302至S308。

如图3所示，在S302中，获取电子设备的流量数据。可例如通过网络分路器(Switched Port Analyzer，SPAN)获取电子设备的所述流量数据；还可例如通过交换机端口镜像(Test Access Point，TAP)获取电子设备的所述流量数据。

其中，SPAN是一种交换机的端口镜像技术。SPAN作用主要是为了给网络分析器提供网络数据流，SPAN并不会影响源端口的数据交换，它只是将源端口发送或接收的数据包副本发送到监控端口。SPAN分为两种类型，本地SPAN(Local SPAN)和远程SPAN(RemoteSPAN)，实现方法上稍有不同。利用SPAN技术可以把交换机上某些想要被监控端口(简称受控端口)的数据流复制或镜像一份，发送给连接在监控端口上的流量分析仪，受控端口和监控端口可以在同一台交换机上(本地SPAN)，也可以在不同的交换机上(远程SPAN)，本申请不以此为限。

其中，TAP是一个非侵入式的分离装置，安装在设备和网络之间。TAP在独立的专用通道上同时传送设备发送/接收的数据流，确保所有的数据实时到达监视设备。

在一个实施例中，电子设备的流量数据可例如通过搜索服务器中的日志文件获取电子设备的所述流量数据。该搜索服务器可以为ElasticSearch服务器。ElasticSearch是一个基于Lucene的搜索服务器，在本申请实施例中，可例如将多台用户设备的网络流量相关的日志向elasticsearch服务器进行汇集，然后通过查询ElasticSearch服务器中的日志文件获取电子设备的所述流量数据。

在本申请的一种示例性实施例中，获取电子设备的流量数据包括：获取本地网络的流量数据；以及通过预设标识确定本地网络中每一个电子设备对应的流量数据。参考图2，本申请的流量数据检测方法及装置可以位于用户终端与互联网之间，用户终端可包括多个，可例如为公司内部网络，在获取流量数据之后，可例如根据预设标识确定所述电子设备对应的所述流量数据。可例如根据日志或者流量数据中的源IP、目的IP、源端口、目的端口等标识，确定该数据对应的电子设备标识，以便将流量数据按照电子设备进行分组，并进行后续分析。

在S304中，由所述流量数据中提取检测数据。可例如，由路由器的连接协议记录中提取所述检测数据，所述路由器连接协议包括Netflow协议。其中，NetFlow是用于描述通过路由器的连接信息的协议，路由器也像防火墙一样不仅仅是按数据包进行处理，而是跟踪到连接一层，对属于同一个连接的数据包进行统计，某种程度上也成了状态检测，路由器将这些连接信息使用netflow协议发送到netflow搜集器，根据连接的统计信息可得到网络运行的各种信息，还可用来判断电子设备是否受到攻击。NetFlow也是一种数据交换方式，其工作原理是：NetFlow利用标准的交换模式处理数据流的第一个IP包数据，生成NetFlow缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输，不再匹配相关的访问控制等策略，NetFlow缓存同时包含了随后数据流的统计信息。

在一个实施例中，可例如在流量数据中检索Netflow记录。Netflow记录中包含源IP、目的IP、源端口、目的端口、发送报文数、发送报文字节数、接收报文数、接收字节数等。可例如，根据系统环境定义的本地设备的IP列表识别该设备，进而确定内网设备的类型，设备类型可例如包括服务器、办公机、路由网关或其他。

在S306中，通过异常数据剔除技术分析所述检测数据以确定所述流量数据是否存在异常。其中，所述检测数据包括会话数，上行数据，以及下行数据。

异常数据是指样本中的个别值，其数值明显偏离它(或他们)所属样本的其余观测值,也称异常值，离群值。异常值剔除技术是将样本数据中的异常数据进行识别并剔除的技术，在本申请中，通过异常值剔除技术分析所述检测数据，以识别流量数据中的异常数据，进而根据分析确定所述流量数据是否存在异常。

在一个实施例中，异常数据剔除技术可例如包括物理判别法和统计判别法，所谓物理判别法就是根据人们对客观事物已有的认识，判别由于外界干扰、人为误差等原因造成实测数据值偏离正常结果，在实验过程中随时判断，随时剔除。统计判别法是给定一个置信概率，并确定一个置信限，凡超过此限的误差，就认为它不属于随机误差范围，将其视为异常值剔除。当物理识别不易判断时，一般采用统计识别法。本申请中的异常数据剔除技术可例如包括物理判别法或统计判别法，亦或是这两种方法的组合，本申请不以此为限。

在一个实施例中，异常数据剔除技术可例如包括格拉布斯准则与温特斯预测，还可例如包括拉依达准则法，肖维勒准则法，狄克逊准则法，罗马诺夫斯基准则法。不失一般性，下面将以格拉布斯准则与温特斯预测来说明本申请中的异常数据剔除技术的具体实现方法。其他异常数据剔除技术中的算法具体实现过程与格拉布斯准则与温特斯预测的实现过程类似，在此不再赘述。

在一个实施例中，可例如，通过格拉布斯准则分析所述检测数据以确定所述流量数据是否存在异常。可例如通过格拉布斯准则分析所述检测数据得到第一分析结果；当第一分析结果偏离第一阈值区间时，确定所述流量数据存在异常。其中，第一阈值区间可例如通过历史检测数据与格拉布斯检出系数确定。

在一个实施例中，还可例如，温特斯预测分析所述检测数据以确定所述流量数据是否存在异常，可例如通过温特斯预测分析所述检测数据得到第二分析结果，当第二分析结果偏离第二阈值区间时，确定所述流量数据存在异常。其中，第二阈值期间可例如通过历史检测数据与温特斯预测确定。

为了更精确的对流量数据进行分析，还可例如通过格拉布斯准则与温特斯预测共同分析所述检测数据以确定所述流量数据是否存在异常。可例如通过格拉布斯准则与温特斯预测分别分析所述检测数据以得到分析结果；以及将所述分析结果与阈值区间进行比较以确定所述电子设备的流量数据是否存在异常。

在一个实施例中，通过格拉布斯准则与温特斯预测分析所述检测数据以确定所述流量数据是否存在异常包括：通过格拉布斯准则与温特斯预测分别分析所述检测数据中的会话数，上行数据，下行数据以确定所述流量数据是否存在异常。

在一个实施例中，通过格拉布斯准则与温特斯预测分析所述检测数据以得到分析结果包括：通过格拉布斯准则分析所述检测数据得到第一分析结果；通过温特斯预测分析所述检测数据得到第二分析结果；以及通过所述检测数据的格拉布斯水平值确定第三分析结果。

在一个实施例中，将所述分析结果与阈值区间进行比较以确定所述电子设备的流量数据是否存在异常包括：当第一分析结果偏离第一阈值区间，且第二分析结果偏离第二阈值区间，且第三分析结果偏离第三阈值区间时，确定所述电子设备的流量数据存在异常。

其中，第一阈值区间可例如通过历史检测数据与格拉布斯检出系数确定；第二阈值期间可例如通过历史检测数据与温特斯预测确定；第三阈值区间可例如通过所述第一阈值区间与所述第二阈值区间确定。关于阈值区间的确定方式，以及格拉布斯准则与温特斯预测分析的具体细节将在后文中进行详细介绍。

在S308中，在所述流量数据存在异常时，生成告警信息。具体可例如在所述流量数据存在异常，且所述流量数据不满足特征规则时，生成告警信息。其中，所述特征规则包括时间特征与基准阈值，所述流量数据不满足特征规则包括：所述流量数据不满足时间特征；且所述流量数据不满足基准阈值。

在一个实施例中，在所述流量数据存在异常，且所述流量数据不满足特征规则时，还可例如通过所述流量数据的数值确定告警等级。可例如为，当异常流量越多，报警等级越高，还可例如，在本地网络中，存在异常流量的电子设备越多，报警等级越高，本申请不以此为限。

根据本申请的流量数据检测方法，首先通过主动提取网络中的流量信息，然后再利用格拉布斯准则与温特斯预测对流量信息进行分析，进而确定网络中是否存在异常流量的方式，能够有效检测网络流量是否存在异常，发现潜在的未知的网络威胁。

应清楚地理解，本申请描述了如何形成和使用特定示例，但本申请的原理不限于这些示例的任何细节。相反，基于本申请公开的内容的教导，这些原理能够应用于许多其它实施例。

图4是根据另一示例性实施例的一种流量数据检测方法的流程图。图4所示的流量数据检测方法40是对图3所示的流量数据检测方法30中S302“获取电子设备的流量数据”的详细描述。

如图4所示，在S402中，获取网络的流量记录。数据源是指存放由流量引擎处理过的流量信息的组件，可例如从数据源中获取流量记录。其中，流量引擎是指抓取网络流量并做入侵检测及还原会话信息等功能的模块。流量流量记录可以按照三个维度(会话数、上行流量和下行流量)进行分类，流量信息可例如图5所示。

其中，网络数据可例如为本地网络数据，还可例如为异地网络数据，具体可例如为共享云端数据的网络数据，或者接受远端信息的网络数据，本申请不以此为限。

在S404中，解析流量元组信息。可例如，将Netflow记录作为流量元组信息，从数据源中检索Netflow记录。Netflow记录中包含源IP、目的IP、源端口、目的端口、发送报文数、发送报文字节数、接收报文数、接收字节数等。

在S406中，对电子设备进行识别对分类。可例如，通过预设标识确定所述电子设备对应的所述流量数据。可例如根据预先定义的本地设备IP列表以识别该设备，并确定内网设备的类型，设备类型包括服务器、办公机、路由网关或其他，还可例如将设备的其他信息一并进行显示，可例如图6所示。

图7是根据另一示例性实施例的一种流量数据检测方法的流程图。图7所示的流量数据检测方法70是对图3所示的流量数据检测方法30流程中S306“通过格拉布斯准则与温特斯预测分析所述检测数据以确定所述流量数据是否存在异常”的详细描述。

如图7所示，在S702中，确定待检测数据。获取当前时段内设备的流量信息，流量信息包含会话数、上行流量和下行流量，分别取其中任一项数值进入格拉布斯和温特斯预测判定。

在S704中，进行格拉布斯准则判定。格拉布斯判定基于正态分布理论，意图从众多数据样本中找出所有异常的样本，因为网络流量具有较多的不确定性，因此可将判定系数收拢为0.005，系数越低则误报率越小。漏报率与误报率是此消彼长的关系。

格拉布斯准则中的异常值是指：一组样本数据中，如果个别数据偏离平均值很远，那么该数据可称作可疑值或异常值。

格拉布斯准则中的检测算法：

设y表示y1，y2，y3，…，y8的平均值，v表示它们的标准差。若|yt-y|>kv且|yt-y|＝maxt＝1，2，…，8|yt-y|，则认为yt是异常值。

其中k是格拉布斯准则系数。每次检测计算只剔除一个异常值，下一次重新计算平均值和标准差，直到所有的数据值都满足|yt-y|<kv为止。将所有的异常值都剔除后，检测最后一个新值是否在正常值数列中。

格拉布斯准则的算法适用范围：样本时间点流量呈高斯分布；格拉布斯系数与检出水平α相关，如果要求严格，检出水平α可以定得小一些，反之可定的大一些。设检出水平α为0.005即置信概率为0.995，查表可得样本数及对应的格拉布斯系数；样本随着时间推移不断更新，可以适应流量的趋势性变化。

在一个实施例中，格拉布斯准则中的流量样以周为周期单位，每日5分钟一个间隔，共2016个样本点。在每个样本点采集最近N个周期的样本，然后在这N个样本中检测最近的一个样本是否属于异常样本。

在S706中，结果是否存在正态偏离。通过格拉布斯准则分析所述检测数据得到第一分析结果，当第一分析结果偏离第一阈值区间时，认为该数据存在正态偏离。

其中，可例如通过历史检测数据与格拉布斯检出系数确定所述第一阈值区间。在一个实施例中，为了使得格拉布斯准则检测的结果具有较高的准确度，N大于等于3，也就是说至少通过两个完整周期的采样确定第一阈值区间，然后才能开始进行格拉布斯检测算法。

在S708中，进行温特斯预测判定。温特斯预测判定方法，结合了历史趋势和当前趋势，对下一个时间点进行预测，并通过一定的方法设定了合理波动区间。

网络流量特征及温特斯预测基础：温特斯预测可适用于具有以下特征的网络：随时间变化的趋势；周期性的趋势；周期性的波动；经过周期性的波动后，时间变化趋势也会随着演化。

温特斯预测中的检测算法基本概要：通过已知的时间序列对未来时间点的流量进行预测；测量预测值和实际流量之间的偏差；确定一个观察值是否严重偏离了预测的范围。

温特斯预测中的预测公式：

Y_t+1＝a_t+b_t+c_t-m+1；

a_t＝α(y_t-c_t-m)+(1-α)(b_t-1+a_t-1)；

b_t＝β(a_t–a_t-1)+(1-β)b_t–1；

c_t＝γ(y_t-a_t)+(1-γ)c_t–m；

d_t＝γ|y_t-Y_t|+(1-γ)d_t–m；

其中，Y_t+1为下一时刻的预测值，a_t，b_t，c_t-m+1为根据历史数据中不同时间的数据得到的的预测参数，d_t为误差值，代表可允许的误差范围，α，β，γ为平滑因子。

温特斯预测中的平滑因子选取，在一个实施例中，根据历史网络环境测试结论，取α＝0.25，β＝0.0035，γ＝0.1。

在S710中，结果是否存在区间偏离。通过温特斯预测分析所述检测数据得到第二分析结果，历史检测数据与温特斯预测确定所述第二阈值区间，当第二分析结果偏离第二阈值区间时，认为结果中存在区间偏离。可例如，将当前检测数据A与Y_t+1进行比较，当|Y_t+1-A|>d_t时，可认为结果中存在区间偏离。

在S712中，计算当前格拉布斯水平。格拉布斯水平是指利用格拉布斯准则，将样本集中的异常样本排除后的得到的有效值。

在S714中，计算格拉布斯和预测区间构成的波动区间。可例如，通过所述第一阈值区间与所述第二阈值区间确定所述第三阈值区间。

格拉布斯水平代表了历史一段时间以来的正常数值的平均水平，温特斯预测区间显示近期的变化趋势。格拉布斯属于单点抽样检测，从时间维度来看，构成了一条波动曲线，在波的每个时间点中，所有的样本呈现高斯分布。

温特斯预测方法，结合时间分布特性和周期规律，对下一时刻进行预测，从时间维度来看，也构成了一条实时的预测波动曲线。

在网络中，流量具有较高的不确定性，或呈现规律的在均值上下的波动，也可能出现具有周期性上升或下降的波动，利用以上两条波动曲线确定第三区间范围，可以更好的检测实际网络波动曲线是否在两条波动曲线之间或者各自波动曲线合理的置信范围内。

在S716中，是否在波动区间内。将实际值和预测范围进行比较，如果在预测范围内则说明数据正常，否则为异常。

在S718中，存在流量异常。当第一分析结果偏离第一阈值区间，且第二分析结果偏离第二阈值区间，且第三分析结果偏离第三阈值区间时，确定所述电子设备的流量数据存在异常。

在S720中，不存在流量异常。

值得一提的是，在本申请实施例中，先对待检测数据进行格拉布斯准则判定，再进行温特斯预测判定，而在其他的实施例中，还可以先对待检测数据进行温特斯预测判定，再进行格拉布斯准则判定，本申请不以此为限。

图10是根据另一示例性实施例的一种流量数据检测方法的流程图。图10所示的流量数据检测方法100是对图3所示的流量数据检测方法30流程中S308“在所述流量数据存在异常，且所述流量数据不满足特征规则时，生成告警信息”的详细描述。其中，特征规则包括时间特征与基准阈值。

在S1002中，判断所述流量数据是否满足时间特征；

在S1004中，判断所述流量数据是否满足基准阈值；

在S1006中，计算异常等级及可信度。可例如，通过所述异常流量数据的数据量大小确定告警等级。

在S1008中，生成告警信息。告警信息如图8，图9所示。

当实际数值不在第三区间内时，则判定实际数据异常。这时还可例如考虑到数据变化关系和数据当前的大小和基准有很大的关系，以及某些异常是由人为的正常操作触发的，因此需要经过基准阈值的判定和行为规则(包括时间特征)的判定。基准阈值是指当前数值波动都在某阈值以下的范围波动时，不管怎么样波动，都不应该判定异常。行为规则是指在特定的时间区间发生数据异常或者由于设备属性的原因，不应当将其判定为异常的情形。这是由于网络流量的不确定性以及不同设备类型有不同的流量特性导致的。

根据本申请的流量数据检测方法，通过以上行为纠偏技术后，可以有效降低误报率，准确发现异常网络流量。

传统的安全防御理念，都是以控制为核心，通过各种网络安全设备对信息资源进行保护，但从网络攻击行为的发展趋势来看，“潜伏性”和“持续性”是最显著的特征，未知型的攻击行为越来越难检测。根据本申请的流量数据检测方法，跳出了被动防守的传统做法，通过对数据流量的实时分析，真正做到安全防护的“智能感知”和“可视化”，并给了出准确有效的防护建议。通过深度把握网络中攻击源、攻击工具、攻击手法、被攻击者等要素。

本申请的流量数据检测方法中，利用新型的异常流量检测模型来实现已知威胁检测和未知威胁检测。即使部署检测设备之前资产服务器已被植入后门，一旦后门被利用，也可立即将其抓出。

值得一提的是，在本申请中的数据源可以是任意拥有流量信息的模块或者载体，可以是路由器、交换机或其他抓取流量的软件。方案中应用到的数据库有mysql和elasticsearch，也可以替换成其他拥有数据存储功能的软件。

本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本申请提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图11是根据一示例性实施例的一种流量数据检测装置的框图。流量数据检测装置1100包括：流量数据模块1102，检测数据模块1104，异常判断模块1106，以及告警信息模块1108。

流量数据模块1102用于获取电子设备的流量数据。可例如通过网络分路器(Switched Port Analyzer，SPAN)获取电子设备的所述流量数据；还可例如通过交换机端口镜像(Test Access Point，TAP)获取电子设备的所述流量数据。

检测数据模块1104用于由所述流量数据中提取检测数据。可例如，通过路由器连接协议记录提取所述检测数据，所述路由器连接协议包括Netflow协议。

异常判断模块1106用于通过异常数据剔除技术分析所述检测数据以确定所述流量数据是否存在异常。其中，所述检测数据包括会话数，上行数据，以及下行数据，通过格拉布斯准则与温特斯预测分析所述检测数据以确定所述流量数据是否存在异常包括：通过格拉布斯准则与温特斯预测分别分析所述检测数据中的会话数，上行数据，下行数据以确定所述流量数据是否存在异常。

告警信息模块1108用于在所述流量数据存在异常时，生成告警信息。具体可例如在所述流量数据存在异常，且所述流量数据不满足特征规则时，生成告警信息。其中，所述特征规则包括时间特征与基准阈值，所述流量数据不满足特征规则包括：所述流量数据不满足时间特征；且所述流量数据不满足基准阈值。

根据本申请的流量数据检测装置，通过主动提取网络中的流量信息，在利用格拉布斯准则与温特斯预测对流量信息进行分析，进而确定是否存在异常流量的方式，可以有效检测网络流量是否存在异常，发现潜在的未知的网络威胁。

图12是根据另一示例性实施例的一种流量数据检测装置的框图。流量数据检测装置1200包括：日志模块1202，数据采集模块1204，样本处理模块1206，协议检测模块1208，流向检测模块1210，设备发现模块1212，温特斯模块1214，格拉布斯模块1216，均值阈值模块1218，行为规则模块1220，数据记录模块1222，以及显示报警模块1224。

数据采集模块1204可例如通过日志模块1202中的日志文件获取电子设备的所述流量数据。样本处理模块1206与协议检测模块1208可例如在流量数据中检索Netflow的记录。Netflow的记录中包含源IP、目的IP、源端口、目的端口、发送报文数、发送报文字节数、接收报文数、接收字节数等信息。可例如，根据系统环境定义的本地设备的IP列表识别设备，进而确定内网设备的类型，设备类型可例如包括服务器、办公机、路由网关或其他。流向检测模块1210用于将检测数据进行分类，分为会话数，上行数据，以及下行数据。设备发现模块1212通过预设标识确定所述电子设备对应的所述流量数据。

通过温特斯模块1214与格拉布斯模块1216，分析所述检测数据以确定所述流量数据是否存在异常。均值阈值模块1218与行为规则模块1220用于在所述流量数据存在异常，且所述流量数据不满足特征规则时，生成告警信息。

数据记录模块1222用于记录异常日记以及流量日志等等信息，显示报警模块1224用于将数据记录模块1222中的信息进行显示。

图13是根据一示例性实施例示出的一种电子设备的框图。

下面参照图13来描述根据本申请的这种实施方式的电子设备1300。图13显示的电子设备1300仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图13所示，电子设备1300以通用计算设备的形式表现。电子设备1300的组件可以包括但不限于：至少一个处理单元1310、至少一个存储单元1320、连接不同系统组件(包括存储单元1320和处理单元1310)的总线1330、显示单元1340等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1310执行，使得所述处理单元1310执行本说明书上述电子处方流转处理方法部分中描述的根据本申请各种示例性实施方式的步骤。例如，所述处理单元1310可以执行如图3，图4，图7，以及图10中所示的步骤。

所述存储单元1320可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)13201和/或高速缓存存储单元13202，还可以进一步包括只读存储单元(ROM)13203。

所述存储单元1320还可以包括具有一组(至少一个)程序模块13205的程序/实用工具13204，这样的程序模块2205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1330可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1300也可以与一个或多个外部设备1300’(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1300交互的设备通信，和/或与使得该电子设备1300能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1350进行。并且，电子设备1300还可以通过网络适配器1360与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器1360可以通过总线1330与电子设备1300的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本申请实施方式的上述方法。

图14示意性示出本申请示例性实施例中一种计算机可读存储介质示意图。

参考图14所示，描述了根据本申请的实施方式的用于实现上述方法的程序产品1400，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：获取电子设备的流量数据；由所述流量数据中提取检测数据；通过格拉布斯准则与温特斯预测分析所述检测数据以确定所述流量数据是否存在异常；以及在所述流量数据存在异常，且所述流量数据不满足特征规则时，生成告警信息。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施例的方法。

以上具体地示出和描述了本申请的示例性实施例。应可理解的是，本申请不限于这里描述的详细结构、设置方式或实现方法；相反，本申请意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (12)

1.一种流量数据检测方法，其特征在于，包括：

获取电子设备的流量数据；

由所述流量数据中提取检测数据；所述检测数据包括会话数，上行数据和下行数据；

通过格拉布斯准则分析所述检测数据得到第一分析结果；

通过温特斯预测分析所述检测数据得到第二分析结果；

通过所述检测数据的格拉布斯水平值确定第三分析结果；

将所述第一分析结果、第二分析结果以及第三分析结果与阈值区间进行比较以确定所述电子设备的流量数据是否存在异常；以及

在所述流量数据存在异常时，生成告警信息。

2.如权利要求1所述的方法，其特征在于，获取电子设备的流量数据包括：

通过网络分路器获取电子设备的所述流量数据；或

通过交换机端口镜像获取电子设备的所述流量数据。

3.如权利要求1所述的方法，其特征在于，获取电子设备的流量数据还包括：

通过搜索服务器中的日志文件获取电子设备的所述流量数据。

4.如权利要求1所述的方法，其特征在于，获取电子设备的流量数据包括：

获取网络的流量数据；以及

通过预设标识确定网络中的电子设备对应的所述流量数据。

5.如权利要求1所述的方法，其特征在于，由所述流量数据中提取检测数据包括：

由路由器的连接协议记录中提取所述检测数据。

6.如权利要求1所述的方法，其特征在于，将所述第一分析结果、第二分析结果以及第三分析结果与阈值区间进行比较以确定所述电子设备的流量数据是否存在异常包括以下情况至少一者：

当第一分析结果偏离第一阈值区间，确定所述电子设备的流量数据存在异常；

第二分析结果偏离第二阈值区间，确定所述电子设备的流量数据存在异常；以及

第三分析结果偏离第三阈值区间时，确定所述电子设备的流量数据存在异常。

7.如权利要求6所述的方法，其特征在于，还包括：

通过历史检测数据与格拉布斯检出系数确定所述第一阈值区间；和/或

通过历史检测数据与温特斯预测确定所述第二阈值区间；和/或

通过所述第一阈值区间与所述第二阈值区间确定所述第三阈值区间。

8.如权利要求1所述的方法，其特征在于，在所述流量数据存在异常时，生成告警信息包括：

在所述流量数据存在异常，且所述流量数据不满足特征规则时，生成告警信息。

9.如权利要求8所述的方法，其特征在于，所述特征规则包括时间特征与基准阈值，

所述流量数据不满足特征规则包括以下情况至少一者：

所述流量数据不满足时间特征；以及

所述流量数据不满足基准阈值。

10.一种流量数据检测装置，其特征在于，包括：

流量数据模块，用于获取电子设备的流量数据；

检测数据模块，用于由所述流量数据中提取检测数据；所述检测数据包括会话数，上行数据，以及下行数据；

异常判断模块，用于通过格拉布斯准则分析所述检测数据得到第一分析结果，通过温特斯预测分析所述检测数据得到第二分析结果，通过所述检测数据的格拉布斯水平值确定第三分析结果，将所述第一分析结果、第二分析结果以及第三分析结果与阈值区间进行比较以确定所述电子设备的流量数据是否存在异常；以及

告警信息模块，用于在所述流量数据存在异常时，生成告警信息。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。

Images