CN107135183A - 一种流量数据监测方法和装置 - Google Patents

一种流量数据监测方法和装置 Download PDF

Info

Publication number
CN107135183A
CN107135183A CN201610107270.1A CN201610107270A CN107135183A CN 107135183 A CN107135183 A CN 107135183A CN 201610107270 A CN201610107270 A CN 201610107270A CN 107135183 A CN107135183 A CN 107135183A
Authority
CN
China
Prior art keywords
data
flows
abnormal
baseline
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610107270.1A
Other languages
English (en)
Inventor
闫卓旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Hebei Co Ltd
Original Assignee
China Mobile Group Hebei Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Hebei Co Ltd filed Critical China Mobile Group Hebei Co Ltd
Priority to CN201610107270.1A priority Critical patent/CN107135183A/zh
Publication of CN107135183A publication Critical patent/CN107135183A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic

Abstract

本发明公开了一种流量数据监测方法,根据现有业务数据建立指标基线;对当前监测的流量数据与所述指标基线进行对比,确定所述流量数据的行为类型;对非异常行为类型的流量数据,采用时间序列分析,确定所述非异常行为类型的流量数据的行为类型。本发明还公开了一种流量数据监测装置。

Description

一种流量数据监测方法和装置
技术领域
本发明涉及移动通讯网络安全技术,尤其涉及一种流量数据监测方法和装置。
背景技术
流量监控系统的建设是网络安全工作从基于经验向基于流量数据进行精确管理的转型,以解决当前网络安全管理水平由于不掌握、不分析流量数据而无法实现质的提升的几个关键问题,如:在防火墙策略审计过程中,不能获知精确、真实的互连需求,无法发现any to any、***to any、any to***等明显错误之外的其它策略设置问题;系统维护人员无法判断业务开通、变更时厂家提出的互连需求的合理性;也不了解安全域子域之间的流量,无法判断是否符合划分要求、设备部署要求和设备互连要求。
基于端口镜像的流量监控系统虽然已经实现了流量的可视化,全流量的可见,但对于异常流量的检测分析尚未完善,而且仍然存在一些安全盲区。传统的基于规则特征匹配检测技术的入侵检测系统(IDS,Intrusion DetectionSystem)/入侵防御系统(IPS,Intrusion Prevention System)、防病毒(AV,Anti-Virus)和反垃圾邮件系统(Anti-SPAM)等,一直注重识别已知的威胁,无法应对未知复杂的威胁。随着科技的进步以及快速发展,新的检测技术不断出现,一些基于统计和概率的异常检测技术等也开始应用在Anti-SPAM和IDS等系统中。虽然问题已得到了缓解,但还面临很大的挑战,主要体现在判断能力有限、精度难以满足要求、样本标注存在瓶颈、以及样本分布的不均衡等。
电信行业的安全管控平台同样强调事件关联分析的重要性,可通过关联引擎将关注的安全事件从海量信息中挖掘出来;但是,基于规则的关联分析必须依靠规则才能起作用,若未事先配好规则或者规则设置不合理,就无法发现安全问题;而规则只能描述已知的安全问题,无法对未知的安全问题进行描述。
可见,如何对包含未知安全问题的流量数据进行判断,是移动运行商亟待解决的问题。
发明内容
有鉴于此,本发明实施例期望提供一种流量数据监测方法和装置,可以对包含未知安全问题的流量数据进行判断,提高移动网络的安全性。
为达到上述目的,本发明的技术方案是这样实现的:
本发明实施例提供了一种流量数据监测方法,所述方法包括:根据现有业务数据建立指标基线;所述方法还包括:
对当前监测的流量数据与所述指标基线进行对比,确定所述流量数据的行为类型;
对非异常行为类型的流量数据,采用时间序列分析,确定所述非异常行为类型的流量数据的行为类型。
上述方案中,所述根据现有业务数据建立指标基线,包括:
根据现有业务内容和信息技术(IT,InformationTechnology)资源类型,确定指标基线白名单;
其中,所述业务内容包括:业务种类、敏感数据、关键业务流程;所述IT资源类型包括:安全设备、网络设备;
根据已知威胁信息,确定指标基线黑名单;
其中,所述威胁信息包括:信誉信息、攻击信息;所述信誉信息包括:恶意的互联网协议(IP,Internet Protocal)地址、统一资源定位符(URL,UniformResoure Locator)和域名;所述攻击信息包括:攻击源、攻击工具、利用的漏洞信息。
上述方案中,所述对当前监测的流量数据与所述指标基线进行对比,确定所述流量数据的行为类型,包括:
将属于所述指标基线黑名单的流量数据,确定为异常行为类型;
将属于所述指标基线白名单的流量数据,确定为非异常行为类型;
将不属于所述指标基线白名单和所述指标基线黑名单的流量数据,确定为非异常行为类型。
上述方案中,所述对非异常行为的流量数据,采用时间序列分析,确定所述流量数据的行为类型;包括:
采用自回归(AR,Auto Regressive)模型进行时间序列分析;
根据预设的时间窗,确定AR预测模型;
根据所述AR预测模型,计算所述流量数据检测点的观测值与预测值的残差;
根据所述残差,确定决策函数,比较所述决策函数与单点阈值;所述决策函数超出单点阈值时,统计多点异常数据,将所述统计的多点异常数据与多点阈值比较;根据比较结果确定所述流量数据的行为类型;
预先根据历史流量数据设定所述单点阈值。
上述方案中,所述根据比较结果确定所述流量数据的行为类型,包括:
如果所述决策函数未超出单点阈值,则确定所述流量数据为正常行为类型,并根据所述流量数据更新所述历史流量数据;
如果所述决策函数超出单点阈值,且所述多点异常数据超出多点阈值,则确定所述流量数据为异常行为类型;
如果所述决策函数超出单点阈值,所述多点异常数据未超出多点阈值,且所述流量数据属于所述指标基线白名单,则确定所述流量数据为正常行为类型,并根据所述流量数据更新所述单点阈值;
如果所述决策函数超出单点阈值,所述多点异常数据未超出多点阈值,且所述流量数据不属于所述指标基线白名单,则确定所述流量数据为异常行为类型。
上述方案中,所述方法还包括:上报所述异常行为类型,并根据所述流量数据是否属于所述指标基线白名单,确实异常行为的等级。
本发明实施例还提供了一种流量数据监测装置,所述装置包括:基线建立模块、第一确定模块、第二确定模块,其中,
所述基线建立模块,用于根据现有业务数据建立指标基线;
所述第一确定模块,用于对当前监测的流量数据与所述指标基线进行对比,确定所述流量数据的行为类型;
所述第二确定模块,用于对非异常行为类型的流量数据,采用时间序列分析,确定所述非异常行为类型的流量数据的行为类型。
上述方案中,所述基线建立模块具体用于:
根据现有业务内容和信息技术IT资源类型,确定指标基线白名单;
其中,所述业务内容包括:业务种类、敏感数据、关键业务流程;所述IT资源类型包括:安全设备、网络设备;根据已知威胁信息,确定指标基线黑名单;
其中,所述威胁信息包括信誉信息、攻击信息;所述信誉信息包括:恶意的IP地址、URL和域名;所述攻击信息包括:攻击源、攻击工具、利用的漏洞信息。
上述方案中,所述第一确定模块具体用于:
将属于所述指标基线黑名单的流量数据,确定为异常行为类型;
将属于所述指标基线白名单的流量数据,确定为非异常行为类型;
将不属于所述指标基线白名单和所述指标基线黑名单的流量数据,确定为非异常行为类型。
上述方案中,所述第二确定模块具体用于:
采用AR模型进行时间序列分析;
根据预设的时间窗,确定AR预测模型,并计算所述流量数据检测点的观测值与预测值的残差;
根据所述残差,确定决策函数,比较所述决策函数与单点阈值;所述决策函数超出单点阈值时,统计多点异常数据,将所述统计的多点异常数据与多点阈值比较;根据比较结果确定所述流量数据的行为类型;
预先根据历史流量数据设定所述单点阈值。
本发明实施例所提供的流量数据监测方法和装置,根据现有业务数据建立指标基线;对当前监测的流量数据与所述指标基线进行对比,确定所述流量数据的行为类型;对非异常行为类型的流量数据,采用时间序列分析,确定所述非异常行为类型的流量数据的行为类型。如此,能对包含未知安全问题的流量数据进行判断,提高移动网络的安全性。
附图说明
图1为本发明实施例流量数据监测方法的流程示意图;
图2为本发明实施例采用时间序列分析流量数据的流程示意图;
图3为本发明实施例流量数据监测装置的组成结构示意图。
具体实施方式
本发明实施例中,根据现有业务数据建立指标基线;对当前监测的流量数据与所述指标基线进行对比,确定所述流量数据的行为类型;对非异常行为类型的流量数据,采用时间序列分析,确定所述非异常行为类型的流量数据的行为类型。
下面结合实施例对本发明再作进一步详细的说明。
本发明实施例提供的一种流量数据监测方法,如图1所示,所述方法包括:
步骤101:根据现有业务数据建立指标基线;
这里,所述指标基线是从表征一个对象或者环境的安全运行参数、状态参数中选取的关键性的指标,并设定这些指标的基线。实际应用中,可以对所有流量业务设定一个总的指标基线,所述指标基线可以包括:指标基线白名单,指标基线黑名单;设定总的指标基线时,可以针对已知业务数据提炼,确定已知业务数据中属于可以信任的数据,所述业务数据包括:业务种类、敏感数据、关键业务流程等信息,并建立起业务之间可信任的指标基线白名单,如将已知的某个业务种类确定为指标基线白名单,或将某个业务流程确定为指标基线白名单;根据IT资源类型,如:安全设备、网络设备等,建立设备之间可信任的指标基线白名单,如将某一类设备的标识确定为指标基线白名单;针对外部的攻击,可以通过收集威胁信息建立知识库的方式,确定指标基线黑名单;威胁信息一般包括信誉信息和攻击信息等;所述信誉信息包括:恶意的IP地址、URL、域名等,比如C2服务器相关信息;所述攻击信息包括:攻击源、攻击工具、利用的漏洞信息等;这里,可以将已知恶意的IP地址,URL、域名等确定为指标基线黑名单。
步骤102:对当前监测的流量数据与所述指标基线进行对比,确定所述流量数据的行为类型;
具体的,当流量数据到达时,可以将流量数据对象汇入待处理序列;根据现有业务数据提炼出业务之间可信任的指标基线白名单,以及从网络威胁信息获取的指标基线黑名单共同建立指标基线;然后将待处理序列的流量数据进行数据比对;
这里,可以将流量数据中包含的业务数据、发送所述流量数据的设备、发送所述流量数据的IP地址等与所述指标基线进行对比,确定流量数据是否属于指标基线白名单或指标基线黑名单。其中,所述流量数据经过与指标基线的比对,将属于指标基线黑名单的流量数据,确定为异常行为类型;将属于指标基线白名单的流量数据,确定为非异常行为类型;将既不属于指标基线白名单也不属于指标基线黑名单的流量数据,同样确定为非异常行为类型。
实际应用中,对于异常行为类型,可以直接进行异常报告,上报所述异常行为类型;并可以将属于黑名单的流量数据异常级别定为高级,提高处理优先级;对于非异常行为类型的流量数据,通过后续步骤继续分析。
步骤103:对非异常行为类型的流量数据,采用时间序列分析,确定所述非异常行为类型的流量数据的行为类型;
具体的,如图2所示,步骤103进一步包括:
步骤103a:根据流量模型预测当前检测点的观测值;
这里,流量模型可采用AR模型;
具体的,首先确定AR模型的阶数p,通常流量数据的观测值是不平稳的,可以假定这些流量数据序列在一定的时间窗口N内是平稳的,其中,时间窗口N可以取值20,AR模型的阶数p与时间窗口N满足约束条件:0≤p≤0.1N;由于N取值20,在此算法中p取值2。用流量数据的时间序列X1,X2,X3...Xn拟合二阶AR模型,则AR(2)模型可以用表达式(1)表示:
其中,表示AR(2)的系数,et表示噪音,所述et是均值为零、方差为σe 2的独立同分布高斯随机变量;
可以使用时间序列X1,X2,X3...Xn来估计AR(2)模型参数和σe 2
这里,的估算公式,可以用表达式(2)表示:
其中,T表示转置矩阵;
根据表达式(3)、表达式(4)、表达式(5),AR(2)模型的参数可以根据时间序列X1,X2,X3...Xn估计得出;
将估算出的参数代入表达式(2),可以得到AR模型;
步骤103b:预测模型确定后,通过观测值与预测值的残差定义网络异常;
这里,在时间点…tn-1,tn,tn+1…的一个零均值化后的观测值序列为…x(tn-1),x(tn),x(tn+1)…,则可以根据AR模型拟合得到残差序列{…,et+1,et+2,et+3,…},et+i可以用表达式(6)表示:
其中,表示时间点的预测值,一个检测点可以看作一个时间点;
步骤103c:确立当前检测点判异决策函数;
这里,决策函数Wt(N+1),可以用表达式(7)表示:
其中,
步骤103d:计算当前检测点的单点阀值,判断当前检测点是否超过了单点阀值;如果否,则判断所述流量数据为正常行为类型,并存储当前检测点数据,作为历史数据内容,以便后续作为单点阀值的计算来源数据,自此,对所述流量数据的检测结束,可以进行下一个流量数据的检测;如果是,则进行下一步处理;
这里,通过决策函数判断是否异常,当Wt(N+1)>U或Wt(N+1)<-L时,是异常行为类型,否则,是非异常行为类型;其中,表示检测点的预测值,U和-L分别是根据历史流量数据取的决策函数单点阈值的上限和下限;
步骤103e:如果当前检测点超过了所述单点阀值时,计算出多点异常数据统计量;
通常情况下,单点的异常可能会是突发性的网络波动,如果真正的网络异常发生,则后续的检测点也会检测出异常,而且偏离程度较大;一般偏离比较大的情况,多点异常统计量都会呈指数2的形式迅速增长的;
这里,由{ζi}表示观测序列得到的残差序列,分别计算正统计量ζi的平均值及相应的标准差;分别表示{ζi}的正值和负值组成的序列,他们的个数分别是m和n,σ+和σ-分别表示他们的标准差,σ+和σ-,可以分别有表达式(8)、表达式(9)、表达式(10)、表达式(11)表示:
步骤103f:判断多点异常数据是否超过了报警多点阀值,如果否,则更新单点阀值内容,并判断是否为数据是否为指标基线白名单数据,如果为指标基线白名单数据,则判断为正常行为类型,如果不是指标基线白名单数据,则报告此事件为异常行为类型;如果是,则报告此事件为异常行为类型;实际应用中,可以对异常行为类型进行分级,如此,可以判断异常处理的优先级;如:如果多点异常数据未超出报警多点阀值,且不是指标基线白名单数据,则报告此事件为中级异常行为类型;如果多点异常数据超出报警多点阀值,且为指标基线白名单数据,则报告此事件为中级异常行为类型;如果多点异常数据超出报警多点阀值,且不是指标基线白名单数据,则表明该流量数据属于危险数据的几率较高,此时可以报告此事件为高级异常行为类型,以提高处理优先等级。
这里,确定异常判断的多点阀值,多点阀值的选择对异常检测很重要,如果多点阀值太大或太小,都会直接导致漏报或是虚报的情况;多点异常数据统计量的多点阀值为:当ζ在范围内时,所述流量数据的行为确定为非异常行为类型;否则,所述流量数据行为确定为异常行为类型。
本发明实施例提供的一种流量数据监测的方法,如图3所示,所述装置包括:基线建立模块31、第一确定模块32、第二确定模块33,其中,
所述基线建立模块31,用于根据现有业务数据建立指标基线;
所述指标基线是从表征一个对象或者环境的安全运行参数、状态参数中选取的关键性的指标,并设定这些指标的基线。实际应用中,可以对所有流量业务设定一个总的指标基线,所述指标基线可以包括:指标基线白名单,指标基线黑名单;设定总的指标基线时,可以针对已知业务数据提炼,确定已知业务数据中属于可以信任的数据,所述业务数据包括:业务种类、敏感数据、关键业务流程等信息,并建立起业务之间可信任的指标基线白名单,如将已知的一个业务种类确定为指标基线白名单,或将某个业务流程确定为指标基线白名单;根据IT资源类型,如:安全设备、网络设备等,建立设备之间可信任的指标基线白名单,如将某一类设备的标识确定为指标基线白名单;针对外部的攻击,可以通过收集威胁信息建立知识库的方式,确定指标基线黑名单;威胁信息一般包括信誉信息和攻击信息等;所述信誉信息包括:恶意的IP地址、URL、域名等,比如C2服务器相关信息;所述攻击信息包括:攻击源、攻击工具、利用的漏洞信息等;这里,可以将恶意的IP地址,URL、域名等确定为指标基线黑名单。
所述第一确定模块32,用于对当前监测的流量数据与所述指标基线进行对比,确定所述流量数据的行为类型;
具体的,当流量数据到达时,可以将流量数据对象汇入待处理序列;根据现有业务数据提炼出业务之间可信任的指标基线白名单,以及从网络威胁信息获取的指标基线黑名单共同建立指标基线;然后将待处理序列的流量数据进行数据比对;这里,可以将流量数据中包含的业务数据、发送所述流量数据的设备、发送所述流量数据的IP地址等与所述指标基线进行对比,确定流量数据是否属于指标基线白名单或指标基线黑名单。其中,所述流量数据经过与指标基线的比对,将属于指标基线黑名单的流量数据,确定为异常行为类型;将属于指标基线白名单的流量数据,确定为非异常行为类型;将既不属于指标基线白名单也不属于指标基线黑名单的流量数据,同样确定为非异常行为类型。实际应用中,对于异常行为类型,可以直接进行异常报告;上报所述异常行为类型;并可以将属于黑名单的流量数据的异常级别定为高级;对于非异常行为类型的流量数据,通过后续模块继续分析。
所述第二确定模块33,用于对非异常行为类型的流量数据,采用时间序列分析,确定所述非异常行为类型的流量数据的行为类型;
所述第二确定模块33,具体用于:
根据流量模型预测当前检测点的观测值;这里,流量模型可采用AR模型;
具体的,首先确定AR模型的阶数p,通常流量数据的观测值是不平稳的,可以假定这些流量数据序列在一定的时间窗口N内是平稳的,其中,时间窗口N可以取值20,AR模型的阶数p与时间窗口N满足约束条件:0≤p≤0.1N,由于N取值20,在此算法中p取值2。用流量数据的时间序列X1,X2,X3...Xn拟合二阶AR模型,则AR(2)模型可以用表达式(1)表示;其中,表示AR(2)的系数,et表示噪音,所述et是均值为零、方差为σe 2的独立同分布高斯随机变量;
可以使用时间序列X1,X2,X3...Xn来估计AR(2)模型参数和σe 2
这里的估算公式,可以用表达式(2)表示;其中,T表示转置矩阵;
根据表达式(3)、表达式(4)、表达式(5),AR(2)模型的参数可以根据时间序列X1,X2,X3...Xn估计得出;将估算出的参数代入表达式(2),可以得到AR模型。
预测模型确定后,通过观测值与预测值的残差定义网络异常;
这里,在时间点…tn-1,tn,tn+1…的一个零均值化后的观测值序列为…x(tn-1),x(tn),x(tn+1)…,则可以根据AR模型拟合得到残差序列{…,et+1,et+2,et+3,...},et+i可以用表达式(6)表示;其中,表示时间点的预测值,一个检测点可以看作一个时间点。
确立当前检测点判异决策函数;
这里,决策函数Wt(N+1,可以用表达式(7)表示;其中,
计算当前检测点的单点阀值,判断当前检测点是否超过了单点阀值数;如果否,则判断所述流量数据为正常行为类型,并存储当前检测点数据,作为历史数据内容,以便后续作为单点阀值的计算来源数据,自此,对所述流量数据的检测结束,可以进行下一个流量数据的检测;如果是,则进行下一步处理;
这里,通过决策函数判断是否异常,当Wt(N+1)>U或Wt(N+1)<-L时,是异常行为类型,否则,是非异常行为类型;其中,表示检测点的预测值,U和-L分别是根据历史流量数据取的决策函数单点阈值的上限和下限。
如果当前检测点超过了所述单点阀值时,计算出多点异常数据统计量;
通常情况下,单点的异常可能会是突发性的网络波动,如果真正的网络异常发生,则后续的检测点也会检测出异常,而且偏离程度较大;一般偏离比较大的情况,多点异常统计量都会呈指数2的形式迅速增长的;
这里,由{ζi}表示观测序列得到的残差序列,分别计算正统计量ζi的平均值及相应的标准差;分别表示{ζi}的正值和负值组成的序列,他们的个数分别是m和n,σ+和σ-分别表示他们的标准差,σ+和σ-,可以分别有表达式(8)、表达式(9)、表达式(10)、表达式(11)表示。
判断多点异常数据是否超过了报警多点阀值,如果否,则更新单点阀值内容,并判断是否为数据是否为指标基线白名单数据,如果为指标基线白名单数据,则判断为正常行为类型,如果不是指标基线白名单数据,则报告此事件为异常行为类型;如果是,则报告此事件为异常行为类型;实际应用中,可以对异常行为类型进行分级,如此,可以判断异常处理的优先级;如:如果多点异常数据未超出报警多点阀值,且不是指标基线白名单数据,则报告此事件为中级异常行为类型;如果多点异常数据超出报警多点阀值,且为指标基线白名单数据,则报告此事件为中级异常行为类型;如果多点异常数据超出报警多点阀值,且不是指标基线白名单数据,则表明该流量数据属于危险数据的几率较高,此时可以报告此事件为高级异常行为类型,以提高处理优先等级;
这里,确定异常判断的多点阀值,多点阀值的选择对异常检测很重要,如果多点阀值太大或太小,都会直接导致漏报或是虚报的情况;多点异常数据统计量的多点阀值为:当ζ在范围内时,所述流量数据的行为确定为非异常行为类型;否则,所述流量数据行为确定为异常行为类型。
在实际应用中,基线建立模块31、第一确定模块32、第二确定模块33可由核心网络系统的中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)等实现。
以上所述,仅为本发明的佳实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种流量数据监测方法,其特征在于,所述方法包括:根据现有业务数据建立指标基线;所述方法还包括:
对当前监测的流量数据与所述指标基线进行对比,确定所述流量数据的行为类型;
对非异常行为类型的流量数据,采用时间序列分析,确定所述非异常行为类型的流量数据的行为类型。
2.根据权利要求1所述的方法,其特征在于,所述根据现有业务数据建立指标基线,包括:
根据现有业务内容和信息技术IT资源类型,确定指标基线白名单;
其中,所述业务内容包括:业务种类、敏感数据、关键业务流程;所述IT资源类型包括:安全设备、网络设备;
根据已知威胁信息,确定指标基线黑名单;
其中,所述威胁信息包括:信誉信息、攻击信息;所述信誉信息包括:恶意的互联网协议IP地址、统一资源定位符URL和域名;所述攻击信息包括:攻击源、攻击工具、利用的漏洞信息。
3.根据权利要求2所述的方法,其特征在于,所述对当前监测的流量数据与所述指标基线进行对比,确定所述流量数据的行为类型,包括:
将属于所述指标基线黑名单的流量数据,确定为异常行为类型;
将属于所述指标基线白名单的流量数据,确定为非异常行为类型;
将不属于所述指标基线白名单和所述指标基线黑名单的流量数据,确定为非异常行为类型。
4.根据权利要求2所述的方法,其特征在于,所述对非异常行为的流量数据,采用时间序列分析,确定所述流量数据的行为类型;包括:
采用自回归AR模型进行时间序列分析;
根据预设的时间窗,确定AR预测模型;
根据所述AR预测模型,计算所述流量数据检测点的观测值与预测值的残差;
根据所述残差,确定决策函数,比较所述决策函数与单点阈值;所述决策函数超出单点阈值时,统计多点异常数据,将所述统计的多点异常数据与多点阈值比较;根据比较结果确定所述流量数据的行为类型;
预先根据历史流量数据设定所述单点阈值。
5.根据权利要求4所述的方法,其特征在于,所述根据比较结果确定所述流量数据的行为类型,包括:
如果所述决策函数未超出单点阈值,则确定所述流量数据为正常行为类型,并根据所述流量数据更新所述历史流量数据;
如果所述决策函数超出单点阈值,且所述多点异常数据超出多点阈值,则确定所述流量数据为异常行为类型;
如果所述决策函数超出单点阈值,所述多点异常数据未超出多点阈值,且所述流量数据属于所述指标基线白名单,则确定所述流量数据为正常行为类型,并根据所述流量数据更新所述单点阈值;
如果所述决策函数超出单点阈值,所述多点异常数据未超出多点阈值,且所述流量数据不属于所述指标基线白名单,则确定所述流量数据为异常行为类型。
6.根据权利要求3至5任一项所述的方法,其特征在于,所述方法还包括:上报所述异常行为类型,并根据所述流量数据是否属于所述指标基线白名单,确实异常行为的等级。
7.一种流量数据监测装置,其特征在于,所述装置包括:基线建立模块、第一确定模块、第二确定模块,其中,
所述基线建立模块,用于根据现有业务数据建立指标基线;
所述第一确定模块,用于对当前监测的流量数据与所述指标基线进行对比,确定所述流量数据的行为类型;
所述第二确定模块,用于对非异常行为类型的流量数据,采用时间序列分析,确定所述非异常行为类型的流量数据的行为类型。
8.根据权利要求7所述的装置,其特征在于,所述基线建立模块具体用于:
根据现有业务内容和IT资源类型,确定指标基线白名单;
其中,所述业务内容包括:业务种类、敏感数据、关键业务流程;所述IT资源类型包括:安全设备、网络设备;根据已知威胁信息,确定指标基线黑名单;
其中,所述威胁信息包括信誉信息、攻击信息;所述信誉信息包括:恶意的IP地址、URL和域名;所述攻击信息包括:攻击源、攻击工具、利用的漏洞信息。
9.根据权利要求8所述的装置,其特征在于,所述第一确定模块具体用于:
将属于所述指标基线黑名单的流量数据,确定为异常行为类型;
将属于所述指标基线白名单的流量数据,确定为非异常行为类型;
将不属于所述指标基线白名单和所述指标基线黑名单的流量数据,确定为非异常行为类型。
10.根据权利要求8所述的装置,其特征在于,所述第二确定模块具体用于:
采用AR模型进行时间序列分析;
根据预设的时间窗,确定AR预测模型,并计算所述流量数据检测点的观测值与预测值的残差;
根据所述残差,确定决策函数,比较所述决策函数与单点阈值;所述决策函数超出单点阈值时,统计多点异常数据,将所述统计的多点异常数据与多点阈值比较;根据比较结果确定所述流量数据的行为类型;
预先根据历史流量数据设定所述单点阈值。
CN201610107270.1A 2016-02-26 2016-02-26 一种流量数据监测方法和装置 Pending CN107135183A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610107270.1A CN107135183A (zh) 2016-02-26 2016-02-26 一种流量数据监测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610107270.1A CN107135183A (zh) 2016-02-26 2016-02-26 一种流量数据监测方法和装置

Publications (1)

Publication Number Publication Date
CN107135183A true CN107135183A (zh) 2017-09-05

Family

ID=59720728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610107270.1A Pending CN107135183A (zh) 2016-02-26 2016-02-26 一种流量数据监测方法和装置

Country Status (1)

Country Link
CN (1) CN107135183A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108111487A (zh) * 2017-12-05 2018-06-01 全球能源互联网研究院有限公司 一种安全监控方法及系统
CN108810947A (zh) * 2018-05-29 2018-11-13 浙江每日互动网络科技股份有限公司 基于ip地址的鉴别真实流量的服务器
CN108900363A (zh) * 2018-08-15 2018-11-27 广州易行信息技术有限公司 调整局域网工作状态的方法、装置及系统
CN109450864A (zh) * 2018-10-17 2019-03-08 国网河北省电力有限公司电力科学研究院 一种安全检测方法、装置和系统
CN109492193A (zh) * 2018-12-28 2019-03-19 同济大学 基于深度机器学习模型的异常网络数据生成与预测方法
CN112311611A (zh) * 2019-07-29 2021-02-02 中国移动通信集团广东有限公司 数据异常的监测方法、装置和电子设备
CN113542046A (zh) * 2020-04-21 2021-10-22 百度在线网络技术(北京)有限公司 一种流量预估方法、装置、设备及存储介质
CN114422250A (zh) * 2018-07-02 2022-04-29 瞻博网络公司 用于阻止、检测和/或防止恶意流量的方法和设备
RU2778381C2 (ru) * 2020-10-06 2022-08-18 Общество С Ограниченной Ответственностью «Яндекс» Способ и система для определения параметра ошибки прогноза спама
WO2023123377A1 (zh) * 2021-12-31 2023-07-06 华为技术有限公司 一种调度网络流量的方法、装置以及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103384215A (zh) * 2012-12-21 2013-11-06 北京安天电子设备有限公司 一种基于联合ar模型的病毒态势异常检测方法及系统
CN104361283A (zh) * 2014-12-05 2015-02-18 网宿科技股份有限公司 防护Web攻击的方法
CN104901971A (zh) * 2015-06-23 2015-09-09 北京东方棱镜科技有限公司 对网络行为进行安全分析的方法和装置
CN105119930A (zh) * 2015-09-09 2015-12-02 南京理工大学 基于OpenFlow协议的恶意网站防护方法
CN105141604A (zh) * 2015-08-19 2015-12-09 国家电网公司 一种基于可信业务流的网络安全威胁检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103384215A (zh) * 2012-12-21 2013-11-06 北京安天电子设备有限公司 一种基于联合ar模型的病毒态势异常检测方法及系统
CN104361283A (zh) * 2014-12-05 2015-02-18 网宿科技股份有限公司 防护Web攻击的方法
CN104901971A (zh) * 2015-06-23 2015-09-09 北京东方棱镜科技有限公司 对网络行为进行安全分析的方法和装置
CN105141604A (zh) * 2015-08-19 2015-12-09 国家电网公司 一种基于可信业务流的网络安全威胁检测方法及系统
CN105119930A (zh) * 2015-09-09 2015-12-02 南京理工大学 基于OpenFlow协议的恶意网站防护方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李中魁: ""基于动态阈值的网络流量异常检测方法研究与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑I139-134》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108111487A (zh) * 2017-12-05 2018-06-01 全球能源互联网研究院有限公司 一种安全监控方法及系统
CN108111487B (zh) * 2017-12-05 2022-08-09 全球能源互联网研究院有限公司 一种安全监控方法及系统
CN108810947A (zh) * 2018-05-29 2018-11-13 浙江每日互动网络科技股份有限公司 基于ip地址的鉴别真实流量的服务器
CN108810947B (zh) * 2018-05-29 2021-05-11 每日互动股份有限公司 基于ip地址的鉴别真实流量的服务器
CN114422250A (zh) * 2018-07-02 2022-04-29 瞻博网络公司 用于阻止、检测和/或防止恶意流量的方法和设备
CN108900363B (zh) * 2018-08-15 2021-12-28 广州易行信息技术有限公司 调整局域网工作状态的方法、装置及系统
CN108900363A (zh) * 2018-08-15 2018-11-27 广州易行信息技术有限公司 调整局域网工作状态的方法、装置及系统
CN109450864A (zh) * 2018-10-17 2019-03-08 国网河北省电力有限公司电力科学研究院 一种安全检测方法、装置和系统
CN109492193A (zh) * 2018-12-28 2019-03-19 同济大学 基于深度机器学习模型的异常网络数据生成与预测方法
CN112311611B (zh) * 2019-07-29 2022-04-12 中国移动通信集团广东有限公司 数据异常的监测方法、装置和电子设备
CN112311611A (zh) * 2019-07-29 2021-02-02 中国移动通信集团广东有限公司 数据异常的监测方法、装置和电子设备
CN113542046A (zh) * 2020-04-21 2021-10-22 百度在线网络技术(北京)有限公司 一种流量预估方法、装置、设备及存储介质
CN113542046B (zh) * 2020-04-21 2023-01-10 百度在线网络技术(北京)有限公司 一种流量预估方法、装置、设备及存储介质
RU2778381C2 (ru) * 2020-10-06 2022-08-18 Общество С Ограниченной Ответственностью «Яндекс» Способ и система для определения параметра ошибки прогноза спама
WO2023123377A1 (zh) * 2021-12-31 2023-07-06 华为技术有限公司 一种调度网络流量的方法、装置以及系统

Similar Documents

Publication Publication Date Title
CN107135183A (zh) 一种流量数据监测方法和装置
US11637853B2 (en) Operational network risk mitigation system and method
Tartakovsky et al. A novel approach to detection of intrusions in computer networks via adaptive sequential and batch-sequential change-point detection methods
US20180367553A1 (en) Cyber warning receiver
Barbosa et al. Intrusion detection in SCADA networks
CN110868425A (zh) 一种采用黑白名单进行分析的工控信息安全监控系统
US11895145B2 (en) Systems and methods for automatically selecting an access control entity to mitigate attack traffic
CN105407103A (zh) 一种基于多粒度异常检测的网络威胁评估方法
CN101686235A (zh) 网络异常流量分析设备和方法
CN107517205B (zh) 基于概率的智能变电站网络异常流量检测模型构建方法
CN109361673A (zh) 基于流量数据样本统计和平衡信息熵估计的网络异常检测方法
CN106789351A (zh) 一种基于sdn的在线入侵防御方法和系统
CN111698209A (zh) 一种网络异常流量检测方法及装置
Rahmani et al. Joint entropy analysis model for DDoS attack detection
US10681059B2 (en) Relating to the monitoring of network security
Khan et al. Towards augmented proactive cyberthreat intelligence
Sen et al. Towards an approach to contextual detection of multi-stage cyber attacks in smart grids
CN113721569A (zh) 一种分散控制系统攻击入侵检测装置及其方法
KR101113615B1 (ko) 네트워크 위험도 종합 분석 시스템 및 그 방법
CN116319014A (zh) 基于云端的多业务异常行为检测方法及装置
WO2023039676A1 (en) Methods and systems for assessing and enhancing cybersecurity of a network
Levonevskiy et al. Network attacks detection using fuzzy logic
Kim et al. Hybrid intrusion forecasting framework for early warning system
CN114584356A (zh) 网络安全监控方法及网络安全监控系统
Aparicio-Navarro et al. An on-line wireless attack detection system using multi-layer data fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170905