CN105281966A - 网络设备的异常流量识别方法及相关装置 - Google Patents

网络设备的异常流量识别方法及相关装置 Download PDF

Info

Publication number
CN105281966A
CN105281966A CN201410265260.1A CN201410265260A CN105281966A CN 105281966 A CN105281966 A CN 105281966A CN 201410265260 A CN201410265260 A CN 201410265260A CN 105281966 A CN105281966 A CN 105281966A
Authority
CN
China
Prior art keywords
value
traffic
flow
time interval
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410265260.1A
Other languages
English (en)
Inventor
闫帅帅
刘剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201410265260.1A priority Critical patent/CN105281966A/zh
Publication of CN105281966A publication Critical patent/CN105281966A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了网络设备的异常流量识别方法和装置。一种网络设备的异常流量识别方法,可包括:计算网络设备在当前时段的流量值和第一参考时段的流量值的差值,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的所述网络设备的流量值;若所述差值符合第一条件,确定所述网络设备在所述当前时段的流量值异常;若所述差值符合第二条件,确定所述网络设备在所述当前时段的流量值正常。本发明实施例提供的技术方案有利于降低流量异常误判的可能性。

Description

网络设备的异常流量识别方法及相关装置
技术领域
本发明涉及网络技术领域,具体主要涉及一种网络设备的异常流量识别方法及相关装置。
背景技术
出于安全和业务管理等方面的考虑,经常需对一些网络设备(如互联网数据中心(IDC,InternetDataCenter))的流量进行监控。现有技术中一般通过比较单位时长流量值与预设固定阈值,根据单位时长流量值与预设固定阈值的大小关系来判断该单位时长流量值是否异常。
本发明的发明人在研究和实践过程中发现,现有技术中至少存在以下的技术问题:现有基于预设固定阈值的流量异常判断机制,由于阈值是预设的且一般都是固定不变的,这使得在一些流量波动较大的复杂场景下,使用现有的基于预设阈值的流量异常判断机制的合理性存在较大争议,因为经常出现流量异常误判的情况。
发明内容
本发明实施例提供网络设备的异常流量识别方法及相关装置,以期降低流量异常误判的可能性。
第一方面,一种网络设备的异常流量识别方法,可包括:
计算网络设备在当前时段的流量值和第一参考时段的流量值的差值,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的所述网络设备的流量值;
若所述差值符合第一条件,确定所述网络设备在所述当前时段的流量值异常;
若所述差值符合第二条件,确定所述网络设备在所述当前时段的流量值正常。
第二方面,一种网络设备的异常流量识别装置,包括:
计算单元,用于计算网络设备在当前时段的流量值和第一参考时段的流量值的差值,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的所述网络设备的流量值;
流量判决单元,用于若所述差值符合第一条件,确定所述网络设备在所述当前时段的流量值异常;若所述差值符合第二条件,确定所述网络设备在所述当前时段的流量值正常。
由于可见,由于本发明实施例中,通过计算网络设备在当前时段的流量值和第一参考时段的流量值的差值,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的网络设备在流量值,基于所述差值来确定所述网络设备在所述当前时段的流量值是否异常。由于流量基线记录的在监控周期中各时段的流量值与相应时段近期的历史流量值有关,而流量基线记录的在监控周期中各时段的流量值并非固定不变,而是可在一定程度上体现该时段的可能流量值,因此,相对于现有技术而言,本发明上述技术方案有利于降低流量异常误判的可能性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种网络设备的异常流量识别方法的流程示意图;
图2是本发明实施例提供的另一种流量基线更新方法的流程示意图;
图3是本发明实施例提供的一种决策树产生方法的流程示意图;
图4是本发明实施例提供的另一种网络设备的异常流量识别方法的流程示意图;
图5是本发明实施例提供的一种网络设备的异常流量识别装置的流程示意图;
图6是本发明实施例提供的另一种网络设备的异常流量识别装置的流程示意图;
图7是本发明实施例提供的另一种网络设备的异常流量识别装置的流程示意图。
具体实施方式
本发明实施例提供网络设备的异常流量识别方法及相关装置和系统,以期降低流量异常误判的可能性。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
以下分别进行详细说明。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明网络设备的异常流量识别方法的一个实施例,一种网络设备的异常流量识别方法可包括:计算网络设备在当前时段的流量值和第一参考时段的流量值的差值,其中,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的所述网络设备的流量值;其中,若所述差值符合第一条件,确定所述网络设备在所述当前时段的流量值异常;若所述差值符合第二条件,确定所述网络设备在所述当前时段的流量值正常。
请参见图1,图1为本发明的一个实施例提供的一种网络设备的异常流量识别的方法的流程示意图。其中,如图1所示,本发明的一个实施例提供的一种网络设备的异常流量识别方法可包括以下内容:
101、计算网络设备在当前时段的流量值和第一参考时段的流量值的差值。
其中,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的所述网络设备的流量值。
举例来说,假设流量基线的监控周期为1周,且单位时段长度为1天,流量基线中可以记录了1周中的各日的所述网络设备流量值。具体例如,假设当前时段为周一,则第一参考时段的流量值为当前流量基线中记录的周一的所述网络设备流量值。又具体例如,假设当前时段为周三,则第一参考时段的流量值为当前流量基线中记录的周三的所述网络设备流量值。
例如,假设流量基线的监控周期为1天,且单位时段长度为1小时,则流量基线中可以记录了1天中的0点到24点中各小时的所述网络设备的流量值,具体例如,假设当前时段为九点到十点,则第一参考时段的流量值为当前流量基线中记录的九点到十点的所述网络设备流量值;又具体例如,假设当前时段为13点到14点,第一参考时段的流量值为当前流量基线中记录的13点到14点的所述网络设备流量值。
又例如,假设流量基线的监控周期为1天,且单位时段长度为1分钟,流量基线中可记录了1天中的0点到24点中的每分钟的所述网络设备的流量值,具体例如,假设当前时段为35分到36分,则第一参考时段的流量值为当前流量基线中记录的35分到36分的网络设备流量值;又具体例如,假设当前时段为58分到59分,则第一参考时段的流量值为当前流量基线中记录的58分到59分的网络设备流量值,以此类推。
又例如假设流量基线的监控周期为1小时,且单位时段长度为1分钟,流量基线中可记录了1天中的0点到24点中的每分钟的所述网络设备的流量值,具体例如,假设当前时段为35分到36分,则第一参考时段的流量值为当前流量基线中记录的35分到36分的网络设备流量值;又具体例如,假设当前时段为58分到59分,则第一参考时段的流量值为当前流量基线中记录的58分到59分的网络设备流量值,以此类推。
其中,上述网络设备可以是IDC、路由器、网关或其他网络设备。
102、若所述差值符合第一条件,确定所述网络设备在所述当前时段的流量值异常。
103、若所述差值符合第二条件,确定所述网络设备在所述当前时段的流量值正常。
在本发明一些实施例中,上述差值可为方差(或其他类型的差值)。所述第一条件包括所述差值大于第一阈值或小于第二阈值;所述第二条件包括所述差值小于所述第一阈值且大于所述第二阈值;其中,所述第一阈值大于所述第二阈值。
由于可见,由于本实施例中,通过计算网络设备在当前时段的流量值和第一参考时段的流量值的差值,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的网络设备在流量值,基于所述差值来确定所述网络设备在所述当前时段的流量值是否异常。由于流量基线记录的在监控周期中各时段的流量值与相应时段近期的历史流量值有关,而流量基线记录的在监控周期中各时段的流量值并非固定不变,而是可在一定程度上体现该时段的可能流量值,因此,相对于现有技术而言,本发明上述技术方案有利于降低流量异常误判的可能性。
在本发明的一些可能的实施方式中,所述确定所述网络设备在所述当前时段的流量值异常,可以包括:在将所述网络设备在所述当前时段的流量值带入决策树,且所述决策树指示所述当前时段的流量值处于异常状态时,确定所述网络设备在所述当前时段的流量值异常。其中,通过利用决策树和流量基线进行双重判决,有利于进一步提高确定对所述网络设备在所述当前时段的流量值是否异常的准确性。
在本发明的一些可能的实施方式中,所述决策树例如可以基于有监督机器学习算法、M个监控周期(例如最近的M个监控周期)中所述网络设备在与所述当前时段具有映射关系的M个历史时段的流量值、用于指示所述网络设备在所述M个历史时段的流量值是否异常的状态指示而得到,其中,所述M为正整数,例如所述M可以等于1、2、3、10、20或50或其他值。
其中,所述流量值可为流量类型相同的流量的流量值。例如所述流量值可为传输控制协议或用户数据报协议对应的流量,具体例如,所述流量值可为基于传输控制协议的确认字符(ACK,Acknowledgement)即对应的流量,或所述流量值可以为基于传输控制协议的SYN((synchronize))对应的流量,或者所述流量值可以为基于传输控制协议的PSH对应的流量,或者,所述流量值可以为基于传输控制协议的URG对应的流量。
在本发明的一些可能的实施方式中,所述方法还包括:
若所述差值符合第二条件,利用最近N-1个监控周期中所述网络设备在与所述当前时段具有映射关系的N-1个历史时段的流量值和所述当前时段的流量值,计算得到第一参考时段的第三期望流量值,利用所述第三期望流量值更新所述当前流量基线中记录的第一参考时段的流量值。
或者,若所述差值符合所述第一条件,则利用最近N个监控周期中所述网络设备在与所述当前时段具有映射关系的N个历史时段的流量值,计算得到当前时段的第一期望流量值,利用所述第一期望流量值更新所述当前流量基线中记录的第一参考时段的流量值。
或者,
若所述差值符合第一条件,则利用最近N个监控周期中所述网络设备在与所述当前时段具有映射关系的N个历史时段的流量值,计算得到当前时段的第一期望流量,利用所述第一期望流量和所述N个历史时段中的N-1个历史时段的流量值,计算得到第一参考时段的第二期望流量值,利用所述第二期望流量值更新所述当前流量基线中记录的第一参考时段的流量值,其中,所述N个历史时段为与所述当前时段相邻的历史时段,所述N-1个历史时段与所述当前时段的时差,小于所述N个历史时段中除所述N-1个历史时段之外的剩余时段与所述当前时段的时差。
可以看出,上述流量基线更新方法是一种基于无监督学习方法的流量基线更新方法,通过对比当前时段流量与流量基线相应时段流量值,有利于尽量消除流量突增、锐减带来的影响,进而有利于进一步提高基于流量基线进行流量异常判决的灵活性。
下面通过一些具体的应用场景进行举例说明。
请参见图2,图2为本发明的一个实施例提供的一种流量基线更新方法的流程示意图。其中,如图2所示,本发明的一个实施例提供的一种流量基线更新方法可包括以下内容:
201、计算网络设备当前日的流量值和第一参考日的流量值的方差。
所述第一参考日的流量值为当前流量基线中记录的与当前日具有映射关系的参考日的所述网络设备流量值。
举例来说,假设流量基线的监控周期为1周,且单位时段长度为1天,流量基线中可以记录了1周中的各日的所述网络设备流量值。具体例如,假设当前时段为周一,则第一参考时段的流量值为当前流量基线中记录的周一的所述网络设备流量值。又具体例如,假设当前时段为周三,则第一参考时段的流量值为当前流量基线中记录的周三的所述网络设备流量值。
若所述方差大于第一阈值或小于第二阈值,则执行步骤202。
若所述方差小于第一阈值且于第二阈值,则执行步骤203。
202、利用最近N个监控周期中所述网络设备在与所述当前日具有映射关系的N个历史日的流量值,计算得到当前日的第一期望流量,利用所述第一期望流量和所述N个历史日中的N-1个历史日的流量值,计算得到第一参考日的第二期望流量值,利用第二期望流量值更新所述当前流量基线中记录的第一参考日的流量值,所述N个历史日为最近N周中与当前日序号相同的日(例如当前日为周1,所述N个历史日为最近N周中的周1;又例如当前日为周3,所述N个历史日为最近N周中的周3,以此类推),所述N-1个历史日与所述当前日的时差,小于所述N个历史日中除所述N-1个历史日之外的剩余日与所述当前日的时差(例如所述N个历史日为最近7周中的周1;所述N-1个历史日为最近6周中的周1,又例如所述N个历史日为最近10周中的周1;所述N-1个历史日为最近9周中的周1,以此类推)。
203、利用最近N-1个监控周期中所述网络设备在与所述当前日具有映射关系的N-1个历史日的流量值和所述当前日的流量值,计算得到第一参考日的第三期望流量值,利用所述第三期望流量值更新所述当前流量基线中记录的第一参考日的流量值。
可以看出,上述流量基线更新方法是一种基于无监督学习方法的流量基线更新方法,通过对比当前日流量与流量基线相应日流量值,有利于尽量消除流量突增、锐减带来的影响,进而有利于进一步提高基于流量基线进行流量异常判决的灵活性。
请参见图3,图3为本发明的一个实施例提供的一种决策树产生方法的流程示意图。其中,如图3所示,本发明的一个实施例提供的一种决策树产生方法可包括以下内容:
301、导入M个样本。
其中,M个样本包括最近M周中的同一日期编号的历史日的流量值和该M历史日的流量值是否异常的指示。举例来说,若M等10,若需要获得周1对应的决策树,则M个样本可为最近10周中的周1的流量值、该最近10周中的周1的流量值是否异常的指示,或者,若需要获得周3对应的决策树,则M个样本也可包括:最近10周中的周3的流量值、该最近10周中的周3的流量值是否异常的指示,以此类推。
302、基于M个样本计算样本熵。
303、计算样本的期望值。
304、计算样本的增益。
305、选择分裂点。
306,判断分裂点是否为最后一个分裂点;
若否,则跳转至步骤302,若是,则决策树构造完成。
请参见图4,图4为本发明的另一个实施例提供的另一种网络设备的异常流量识别的方法的流程示意图。其中,如图4所示,本发明的另一个实施例提供的另一种网络设备的异常流量识别方法可包括以下内容:
401、计算网络设备在当前时段的流量值和第一参考时段的流量值的差值。
其中,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的所述网络设备的流量值。
举例来说,假设流量基线的监控周期为1周,且单位时段长度为1天,流量基线中可以记录了1周中的各日的所述网络设备流量值。具体例如,假设当前时段为周一,则第一参考时段的流量值为当前流量基线中记录的周一的所述网络设备流量值。又具体例如,假设当前时段为周三,则第一参考时段的流量值为当前流量基线中记录的周三的所述网络设备流量值。
例如,假设流量基线的监控周期为1天,且单位时段长度为1小时,则流量基线中可以记录了1天中的0点到24点中各小时的所述网络设备的流量值,具体例如,假设当前时段为九点到十点,则第一参考时段的流量值为当前流量基线中记录的九点到十点的所述网络设备流量值;又具体例如,假设当前时段为13点到14点,第一参考时段的流量值为当前流量基线中记录的13点到14点的所述网络设备流量值。
又例如,假设流量基线的监控周期为1天,且单位时段长度为1分钟,流量基线中可记录了1天中的0点到24点中的每分钟的所述网络设备的流量值,具体例如,假设当前时段为35分到36分,则第一参考时段的流量值为当前流量基线中记录的35分到36分的网络设备流量值;又具体例如,假设当前时段为58分到59分,则第一参考时段的流量值为当前流量基线中记录的58分到59分的网络设备流量值,以此类推。
又例如假设流量基线的监控周期为1小时,且单位时段长度为1分钟,流量基线中可记录了1天中的0点到24点中的每分钟的所述网络设备的流量值,具体例如,假设当前时段为35分到36分,则第一参考时段的流量值为当前流量基线中记录的35分到36分的网络设备流量值;又具体例如,假设当前时段为58分到59分,则第一参考时段的流量值为当前流量基线中记录的58分到59分的网络设备流量值,以此类推。
其中,上述网络设备可以是IDC、路由器、网关或其他网络设备。
402、判断所述差值符合第一条件还是符合第二条件。
其中,若所述差值符合第一条件,则执行步骤403。
其中,若所述差值符合第二条件,则执行步骤405。
在本发明一些实施例中,上述差值可为方差(或其他类型的差值)。所述第一条件包括所述差值大于第一阈值或小于第二阈值;所述第二条件包括所述差值小于所述第一阈值且大于所述第二阈值;其中,所述第一阈值大于所述第二阈值。
403、将所述网络设备在所述当前时段的流量值带入决策树。
其中,若所述决策树指示所述当前时段的流量值处于异常状态,则执行步骤404。若所述决策树指示所述当前时段的流量值处于正常状态,则执行步骤405。
404、确定所述网络设备在所述当前时段的流量值异常。
405、确定所述网络设备在所述当前时段的流量值正常。
由于可见,由于本实施例中,通过计算网络设备在当前时段的流量值和第一参考时段的流量值的差值,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的网络设备在流量值,基于所述差值来确定所述网络设备在所述当前时段的流量值是否异常。由于流量基线记录的在监控周期中各时段的流量值与相应时段近期的历史流量值有关,而流量基线记录的在监控周期中各时段的流量值并非固定不变,而是可在一定程度上体现该时段的可能流量值,因此,相对于现有技术而言,本发明上述技术方案有利于降低流量异常误判的可能性。进一步的,通过利用决策树和流量基线进行双重判决,有利于进一步提高确定对所述网络设备在所述当前时段的流量值是否异常的准确性。
参见图5,本发明实施例提供一种异常流量识别装置500,可包括:
计算单元510,用于计算网络设备在当前时段的流量值和第一参考时段的流量值的差值,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的所述网络设备的流量值;
流量判决单元520,用于若所述差值符合第一条件,确定所述网络设备在所述当前时段的流量值异常;若所述差值符合第二条件,确定所述网络设备在所述当前时段的流量值正常。
在本发明的一些可能的实施方式中,在所述确定所述网络设备在所述当前时段的流量值异常的方面,所述流量判决单元具体用于在将所述网络设备在所述当前时段的流量值带入决策树,且所述决策树指示所述当前时段的流量值处于异常状态时,确定所述网络设备在所述当前时段的流量值异常。
在本发明的一些可能的实施方式中,所述决策树基于有监督机器学习算法、M个监控周期(例如最近的M个监控周期)中所述网络设备在与所述当前时段具有映射关系的M个历史时段的流量值、用于指示所述网络设备在所述M个历史时段的流量值是否异常的状态指示而得到,其中,所述M为正整数。
在本发明的一些可能的实施方式中,所述差值为方差;所述第一条件包括所述差值大于第一阈值或小于第二阈值;所述第二条件包括所述差值小于所述第一阈值且大于所述第二阈值;其中,所述第一阈值大于所述第二阈值。
在本发明的一些可能的实施方式中,所述装置500还包括:流量基线更新单元。
其中,所述流量基线更新单元用于,若所述差值符合所述第一条件,则利用最近N个监控周期中所述网络设备在与所述当前时段具有映射关系的N个历史时段的流量值,计算得到当前时段的第一期望流量值,利用所述第一期望流量值更新所述当前流量基线中记录的第一参考时段的流量值,其中,所述N为正整数。
或者,所述流量基线更新单元用于,若所述差值符合第一条件,则利用最近N个监控周期中所述网络设备在与所述当前时段具有映射关系的N个历史时段的流量值,计算得到当前时段的第一期望流量,利用所述第一期望流量和所述N个历史时段中的N-1个历史时段的流量值,计算得到第一参考时段的第二期望流量值,利用所述第二期望流量值更新所述当前流量基线中记录的第一参考时段的流量值,其中,所述N个历史时段为与所述当前时段相邻的历史时段,所述N-1个历史时段与所述当前时段的时差,小于所述N个历史时段中除所述N-1个历史时段之外的剩余时段与所述当前时段的时差。
或者,所述流量基线更新单元用于,若所述差值符合第二条件,利用最近N-1个监控周期中所述网络设备在与所述当前时段具有映射关系的N-1个历史时段的流量值和所述当前时段的流量值,计算得到第一参考时段的第三期望流量值,利用所述第三期望流量值更新所述当前流量基线中记录的第一参考时段的流量值。
在本发明的一些可能的实施方式中,所述流量值为流量类型相同的流量的流量值。
由于可见,由于本实施例中,通过计算网络设备在当前时段的流量值和第一参考时段的流量值的差值,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的网络设备在流量值,基于所述差值来确定所述网络设备在所述当前时段的流量值是否异常。由于流量基线记录的在监控周期中各时段的流量值与相应时段近期的历史流量值有关,而流量基线记录的在监控周期中各时段的流量值并非固定不变,而是可在一定程度上体现该时段的可能流量值,因此,相对于现有技术而言,本发明上述技术方案有利于降低流量异常误判的可能性。进一步的,通过利用决策树和流量基线进行双重判决,有利于进一步提高确定对所述网络设备在所述当前时段的流量值是否异常的准确性。
参见图6,图6为本发明实施例提供的网络设备的异常流量识别装置600的示意图,网络设备的交异常流量识别装置600可包括至少一个总线601、与总线601相连的至少一个处理器602以及与总线601相连的至少一个存储器603。
其中,处理器602通过总线601,调用存储器603中存储的代码以用于计算网络设备在当前时段的流量值和第一参考时段的流量值的差值,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的所述网络设备的流量值;若所述差值符合第一条件,确定所述网络设备在所述当前时段的流量值异常;若所述差值符合第二条件,确定所述网络设备在所述当前时段的流量值正常。
在本发明的一些可能的实施方式中,在所述确定所述网络设备在所述当前时段的流量值异常的方面,所述处理器602具体用于在将所述网络设备在所述当前时段的流量值带入决策树,且所述决策树指示所述当前时段的流量值处于异常状态时,确定所述网络设备在所述当前时段的流量值异常。
在本发明的一些可能的实施方式中,所述决策树基于有监督机器学习算法、M个监控周期(例如最近的M个监控周期)中所述网络设备在与所述当前时段具有映射关系的M个历史时段的流量值、用于指示所述网络设备在所述M个历史时段的流量值是否异常的状态指示而得到,其中,所述M为正整数。
在本发明的一些可能的实施方式中,所述差值为方差;所述第一条件包括所述差值大于第一阈值或小于第二阈值;所述第二条件包括所述差值小于所述第一阈值且大于所述第二阈值;其中,所述第一阈值大于所述第二阈值。
在本发明的一些可能的实施方式中,处理器602还用于,若所述差值符合所述第一条件,则利用最近N个监控周期中所述网络设备在与所述当前时段具有映射关系的N个历史时段的流量值,计算得到当前时段的第一期望流量值,利用所述第一期望流量值更新所述当前流量基线中记录的第一参考时段的流量值,其中,所述N为正整数。
或者,
处理器602还用于,若所述差值符合第一条件,则利用最近N个监控周期中所述网络设备在与所述当前时段具有映射关系的N个历史时段的流量值,计算得到当前时段的第一期望流量,利用所述第一期望流量和所述N个历史时段中的N-1个历史时段的流量值,计算得到第一参考时段的第二期望流量值,利用所述第二期望流量值更新所述当前流量基线中记录的第一参考时段的流量值,其中,所述N个历史时段为与所述当前时段相邻的历史时段,所述N-1个历史时段与所述当前时段的时差,小于所述N个历史时段中除所述N-1个历史时段之外的剩余时段与所述当前时段的时差。
或者,
处理器602还用于,若所述差值符合第二条件,利用最近N-1个监控周期中所述网络设备在与所述当前时段具有映射关系的N-1个历史时段的流量值和所述当前时段的流量值,计算得到第一参考时段的第三期望流量值,利用所述第三期望流量值更新所述当前流量基线中记录的第一参考时段的流量值。
由于可见,由于本实施例中,通过计算网络设备在当前时段的流量值和第一参考时段的流量值的差值,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的网络设备在流量值,基于所述差值来确定所述网络设备在所述当前时段的流量值是否异常。由于流量基线记录的在监控周期中各时段的流量值与相应时段近期的历史流量值有关,而流量基线记录的在监控周期中各时段的流量值并非固定不变,而是可在一定程度上体现该时段的可能流量值,因此,相对于现有技术而言,本发明上述技术方案有利于降低流量异常误判的可能性。进一步的,通过利用决策树和流量基线进行双重判决,有利于进一步提高确定对所述网络设备在所述当前时段的流量值是否异常的准确性。
参见图7,图7是本发明的另一实施例提供的网络设备的异常流量识别装置700的结构框图。其中,网络设备的异常流量识别装置700可以包括:至少1个处理器701,至少1个网络接口704或其他用户接口703,存储器705,至少1个通信总线702。通信总线702用于实现这些组件之间的连接通信。
其中,网络设备的异常流量识别装置700可选的可包含用户接口703,例如,包括显示器(例如,触摸屏、LCD、CRT、全息成像(Holographic)或者投影(Projector)等)、点击设备(例如鼠标、轨迹球(trackball)触感板或触摸屏等)、摄像头和/或拾音装置等。
其中,存储器702可以包括只读存储器和随机存取存储器,并向处理器701提供指令和数据。存储器702中的一部分还可以包括非易失性随机存取存储器(NVRAM)。
在一些实施方式中,存储器705存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:
操作系统7051,包含各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。
应用程序模块7052,包含各种应用程序,用于实现各种应用业务。
在本发明的实施例中,通过调用存储器705存储的程序或指令,处理器701计算网络设备在当前时段的流量值和第一参考时段的流量值的差值,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的所述网络设备的流量值;若所述差值符合第一条件,确定所述网络设备在所述当前时段的流量值异常;若所述差值符合第二条件,确定所述网络设备在所述当前时段的流量值正常。
在本发明的一些可能的实施方式中,在所述确定所述网络设备在所述当前时段的流量值异常的方面,所述处理器701具体用于在将所述网络设备在所述当前时段的流量值带入决策树,且所述决策树指示所述当前时段的流量值处于异常状态时,确定所述网络设备在所述当前时段的流量值异常。
在本发明的一些可能的实施方式中,所述决策树基于有监督机器学习算法、M个监控周期(例如最近的M个监控周期)中所述网络设备在与所述当前时段具有映射关系的M个历史时段的流量值、用于指示所述网络设备在所述M个历史时段的流量值是否异常的状态指示而得到,其中,所述M为正整数。
在本发明的一些可能的实施方式中,所述差值为方差;所述第一条件包括所述差值大于第一阈值或小于第二阈值;所述第二条件包括所述差值小于所述第一阈值且大于所述第二阈值;其中,所述第一阈值大于所述第二阈值。
在本发明的一些可能的实施方式中,处理器701还用于,若所述差值符合所述第一条件,则利用最近N个监控周期中所述网络设备在与所述当前时段具有映射关系的N个历史时段的流量值,计算得到当前时段的第一期望流量值,利用所述第一期望流量值更新所述当前流量基线中记录的第一参考时段的流量值,其中,所述N为正整数。
或者,
处理器701还用于,若所述差值符合第一条件,则利用最近N个监控周期中所述网络设备在与所述当前时段具有映射关系的N个历史时段的流量值,计算得到当前时段的第一期望流量,利用所述第一期望流量和所述N个历史时段中的N-1个历史时段的流量值,计算得到第一参考时段的第二期望流量值,利用所述第二期望流量值更新所述当前流量基线中记录的第一参考时段的流量值,其中,所述N个历史时段为与所述当前时段相邻的历史时段,所述N-1个历史时段与所述当前时段的时差,小于所述N个历史时段中除所述N-1个历史时段之外的剩余时段与所述当前时段的时差。
或者,
处理器701还用于,若所述差值符合第二条件,利用最近N-1个监控周期中所述网络设备在与所述当前时段具有映射关系的N-1个历史时段的流量值和所述当前时段的流量值,计算得到第一参考时段的第三期望流量值,利用所述第三期望流量值更新所述当前流量基线中记录的第一参考时段的流量值。
由于可见,由于本实施例中,通过计算网络设备在当前时段的流量值和第一参考时段的流量值的差值,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的网络设备在流量值,基于所述差值来确定所述网络设备在所述当前时段的流量值是否异常。由于流量基线记录的在监控周期中各时段的流量值与相应时段近期的历史流量值有关,而流量基线记录的在监控周期中各时段的流量值并非固定不变,而是可在一定程度上体现该时段的可能流量值,因此,相对于现有技术而言,本发明上述技术方案有利于降低流量异常误判的可能性。进一步的,通过利用决策树和流量基线进行双重判决,有利于进一步提高确定对所述网络设备在所述当前时段的流量值是否异常的准确性。
本发明实施例还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时包括上述方法实施例中记载的网络设备的异常流量识别方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种网络设备的异常流量识别方法,其特征在于,包括:
计算网络设备在当前时段的流量值和第一参考时段的流量值的差值,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的所述网络设备的流量值;
若所述差值符合第一条件,确定所述网络设备在所述当前时段的流量值异常;
若所述差值符合第二条件,确定所述网络设备在所述当前时段的流量值正常。
2.根据权利要求1所述的方法,其特征在于,所述确定所述网络设备在所述当前时段的流量值异常包括:在将所述网络设备在所述当前时段的流量值带入决策树,且所述决策树指示所述当前时段的流量值处于异常状态时,确定所述网络设备在所述当前时段的流量值异常。
3.根据权利要求2所述的方法,其特征在于,
所述决策树基于有监督机器学习算法、M个监控周期中所述网络设备在与所述当前时段具有映射关系的M个历史时段的流量值、用于指示所述网络设备在所述M个历史时段的流量值是否异常的状态指示而得到,其中,所述M为正整数。
4.根据权利要求1至3任一项所述的方法,其特征在于,
所述差值为方差;
所述第一条件包括所述差值大于第一阈值或小于第二阈值;
所述第二条件包括所述差值小于所述第一阈值且大于所述第二阈值;
其中,所述第一阈值大于所述第二阈值。
5.根据权利要求1或2或3所述的方法,其特征在于,
所述方法还包括:
若所述差值符合所述第一条件,则利用最近N个监控周期中所述网络设备在与所述当前时段具有映射关系的N个历史时段的流量值,计算得到当前时段的第一期望流量值,利用所述第一期望流量值更新所述当前流量基线中记录的第一参考时段的流量值,其中,所述N为正整数;
或者,
若所述差值符合第一条件,则利用最近N个监控周期中所述网络设备在与所述当前时段具有映射关系的N个历史时段的流量值,计算得到当前时段的第一期望流量,利用所述第一期望流量和所述N个历史时段中的N-1个历史时段的流量值,计算得到第一参考时段的第二期望流量值,利用所述第二期望流量值更新所述当前流量基线中记录的第一参考时段的流量值,其中,所述N个历史时段为与所述当前时段相邻的历史时段,所述N-1个历史时段与所述当前时段的时差,小于所述N个历史时段中除所述N-1个历史时段之外的剩余时段与所述当前时段的时差;
或者,
若所述差值符合第二条件,利用最近N-1个监控周期中所述网络设备在与所述当前时段具有映射关系的N-1个历史时段的流量值和所述当前时段的流量值,计算得到第一参考时段的第三期望流量值,利用所述第三期望流量值更新所述当前流量基线中记录的第一参考时段的流量值。
6.根据权利要求5所述的方法,其特征在于,所述流量值为流量类型相同的流量的流量值。
7.一种网络设备的异常流量识别装置,其特征在于,包括:
计算单元,用于计算网络设备在当前时段的流量值和第一参考时段的流量值的差值,所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的所述网络设备的流量值;
流量判决单元,用于若所述差值符合第一条件,确定所述网络设备在所述当前时段的流量值异常;若所述差值符合第二条件,确定所述网络设备在所述当前时段的流量值正常。
8.根据权利要求7所述的装置,其特征在于,在所述确定所述网络设备在所述当前时段的流量值异常的方面,所述流量判决单元具体用于在将所述网络设备在所述当前时段的流量值带入决策树,且所述决策树指示所述当前时段的流量值处于异常状态时,确定所述网络设备在所述当前时段的流量值异常。
9.根据权利要求8所述的装置,其特征在于,
所述决策树基于有监督机器学习算法、M个监控周期中所述网络设备在与所述当前时段具有映射关系的M个历史时段的流量值、用于指示所述网络设备在所述M个历史时段的流量值是否异常的状态指示而得到,其中,所述M为正整数。
10.根据权利要求7至9任一项所述的装置,其特征在于,
所述差值为方差;
所述第一条件包括所述差值大于第一阈值或小于第二阈值;
所述第二条件包括所述差值小于所述第一阈值且大于所述第二阈值;
其中,所述第一阈值大于所述第二阈值。
11.根据权利要求7或8或9所述的装置,其特征在于,
所述装置还包括:流量基线更新单元;
其中,所述流量基线更新单元用于,若所述差值符合所述第一条件,则利用最近N个监控周期中所述网络设备在与所述当前时段具有映射关系的N个历史时段的流量值,计算得到当前时段的第一期望流量值,利用所述第一期望流量值更新所述当前流量基线中记录的第一参考时段的流量值,其中,所述N为正整数;
或者,所述流量基线更新单元用于,若所述差值符合第一条件,则利用最近N个监控周期中所述网络设备在与所述当前时段具有映射关系的N个历史时段的流量值,计算得到当前时段的第一期望流量,利用所述第一期望流量和所述N个历史时段中的N-1个历史时段的流量值,计算得到第一参考时段的第二期望流量值,利用所述第二期望流量值更新所述当前流量基线中记录的第一参考时段的流量值,其中,所述N个历史时段为与所述当前时段相邻的历史时段,所述N-1个历史时段与所述当前时段的时差,小于所述N个历史时段中除所述N-1个历史时段之外的剩余时段与所述当前时段的时差;
或者,所述流量基线更新单元用于,若所述差值符合第二条件,利用最近N-1个监控周期中所述网络设备在与所述当前时段具有映射关系的N-1个历史时段的流量值和所述当前时段的流量值,计算得到第一参考时段的第三期望流量值,利用所述第三期望流量值更新所述当前流量基线中记录的第一参考时段的流量值。
CN201410265260.1A 2014-06-13 2014-06-13 网络设备的异常流量识别方法及相关装置 Pending CN105281966A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410265260.1A CN105281966A (zh) 2014-06-13 2014-06-13 网络设备的异常流量识别方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410265260.1A CN105281966A (zh) 2014-06-13 2014-06-13 网络设备的异常流量识别方法及相关装置

Publications (1)

Publication Number Publication Date
CN105281966A true CN105281966A (zh) 2016-01-27

Family

ID=55150336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410265260.1A Pending CN105281966A (zh) 2014-06-13 2014-06-13 网络设备的异常流量识别方法及相关装置

Country Status (1)

Country Link
CN (1) CN105281966A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763387A (zh) * 2016-05-16 2016-07-13 北京百度网讯科技有限公司 网络流量监控方法和装置
CN107276808A (zh) * 2017-06-21 2017-10-20 北京华创网安科技股份有限公司 一种流量异常监测的优化方法
CN107438262A (zh) * 2016-05-25 2017-12-05 中国移动通信集团设计院有限公司 一种异常用户识别方法及装置
CN107682345A (zh) * 2017-10-16 2018-02-09 北京奇艺世纪科技有限公司 Ip地址的检测方法、检测装置及电子设备
CN107809331A (zh) * 2017-10-25 2018-03-16 北京京东尚科信息技术有限公司 识别异常流量的方法和装置
CN107888441A (zh) * 2016-09-30 2018-04-06 全球能源互联网研究院 一种网络流量基线自学习自适应方法
CN109491863A (zh) * 2018-10-25 2019-03-19 新华三大数据技术有限公司 应用程序类型的识别方法及装置
CN111131290A (zh) * 2019-12-30 2020-05-08 山石网科通信技术股份有限公司 流量数据处理方法和装置
CN111163073A (zh) * 2019-12-24 2020-05-15 山石网科通信技术股份有限公司 流量数据处理方法和装置
CN111817896A (zh) * 2020-07-16 2020-10-23 中国民航信息网络股份有限公司 一种接口监控方法及装置
CN113179257A (zh) * 2021-04-20 2021-07-27 杭州迪普科技股份有限公司 阈值学习方法、装置、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1617512A (zh) * 2004-11-25 2005-05-18 中国科学院计算技术研究所 一种自适应网络流量预测和异常报警方法
CN101355463A (zh) * 2008-08-27 2009-01-28 成都市华为赛门铁克科技有限公司 网络攻击的判断方法、系统和设备
CN103441982A (zh) * 2013-06-24 2013-12-11 杭州师范大学 一种基于相对熵的入侵报警分析方法
CN103546319A (zh) * 2013-10-18 2014-01-29 中国南方电网有限责任公司 网络设备的流量告警方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1617512A (zh) * 2004-11-25 2005-05-18 中国科学院计算技术研究所 一种自适应网络流量预测和异常报警方法
CN101355463A (zh) * 2008-08-27 2009-01-28 成都市华为赛门铁克科技有限公司 网络攻击的判断方法、系统和设备
CN103441982A (zh) * 2013-06-24 2013-12-11 杭州师范大学 一种基于相对熵的入侵报警分析方法
CN103546319A (zh) * 2013-10-18 2014-01-29 中国南方电网有限责任公司 网络设备的流量告警方法和系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763387A (zh) * 2016-05-16 2016-07-13 北京百度网讯科技有限公司 网络流量监控方法和装置
CN105763387B (zh) * 2016-05-16 2019-12-10 北京百度网讯科技有限公司 网络流量监控方法和装置
CN107438262A (zh) * 2016-05-25 2017-12-05 中国移动通信集团设计院有限公司 一种异常用户识别方法及装置
CN107438262B (zh) * 2016-05-25 2019-12-13 中国移动通信集团设计院有限公司 一种异常用户识别方法及装置
CN107888441A (zh) * 2016-09-30 2018-04-06 全球能源互联网研究院 一种网络流量基线自学习自适应方法
CN107888441B (zh) * 2016-09-30 2022-03-18 全球能源互联网研究院 一种网络流量基线自学习自适应方法
CN107276808A (zh) * 2017-06-21 2017-10-20 北京华创网安科技股份有限公司 一种流量异常监测的优化方法
CN107682345B (zh) * 2017-10-16 2020-03-06 北京奇艺世纪科技有限公司 Ip地址的检测方法、检测装置及电子设备
CN107682345A (zh) * 2017-10-16 2018-02-09 北京奇艺世纪科技有限公司 Ip地址的检测方法、检测装置及电子设备
CN107809331A (zh) * 2017-10-25 2018-03-16 北京京东尚科信息技术有限公司 识别异常流量的方法和装置
CN109491863A (zh) * 2018-10-25 2019-03-19 新华三大数据技术有限公司 应用程序类型的识别方法及装置
CN109491863B (zh) * 2018-10-25 2022-04-22 新华三大数据技术有限公司 应用程序类型的识别方法及装置
CN111163073A (zh) * 2019-12-24 2020-05-15 山石网科通信技术股份有限公司 流量数据处理方法和装置
CN111131290A (zh) * 2019-12-30 2020-05-08 山石网科通信技术股份有限公司 流量数据处理方法和装置
CN111817896A (zh) * 2020-07-16 2020-10-23 中国民航信息网络股份有限公司 一种接口监控方法及装置
CN113179257A (zh) * 2021-04-20 2021-07-27 杭州迪普科技股份有限公司 阈值学习方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN105281966A (zh) 网络设备的异常流量识别方法及相关装置
CN106897284B (zh) 电子书籍的推荐方法及装置
US10558545B2 (en) Multiple modeling paradigm for predictive analytics
US11295262B2 (en) System for fully integrated predictive decision-making and simulation
US9369364B2 (en) System for analysing network traffic and a method thereof
US10491754B2 (en) Visualizing predicted customer bandwidth utilization based on utilization history
KR102260417B1 (ko) 트래픽 탐지 방법 및 장치
US11115295B2 (en) Methods and systems for online monitoring using a variable data
CN111478963B (zh) 消息推送方法、装置、电子设备及计算机可读存储介质
US10361905B2 (en) Alert remediation automation
JP6165224B2 (ja) アプリケーション層ログ分析を基礎とする情報セキュリティー管理システム及びその方法
CN111666187B (zh) 用于检测异常响应时间的方法和装置
US20190303231A1 (en) Log analysis method, system, and program
CN105630585A (zh) 周期性任务的处理方法及装置
CN104348747A (zh) Mpls-vpn网络中流量监控的方法和系统
CN106201624A (zh) 一种应用程序的推荐方法及终端
CN105656693A (zh) 一种基于回归的信息安全异常检测的方法及系统
CN111967917B (zh) 预测用户流失的方法以及设备
CN111400126A (zh) 网络服务异常数据检测方法、装置、设备和介质
CN112860504B (zh) 监控方法及装置、计算机存储介质、电子设备
JP6718367B2 (ja) 判定システム、判定方法、及びプログラム
CN105591832A (zh) 应用层慢速攻击检测方法和相关装置
CN105656848B (zh) 应用层快速攻击检测方法和相关装置
US20160218913A1 (en) Method and apparatus of establishing computer network monitoring criteria
CN113835961B (zh) 告警信息监控方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160127