CN115296846B - 一种基于马尔可夫链的异常网络流量回溯方法 - Google Patents

一种基于马尔可夫链的异常网络流量回溯方法 Download PDF

Info

Publication number
CN115296846B
CN115296846B CN202210787364.3A CN202210787364A CN115296846B CN 115296846 B CN115296846 B CN 115296846B CN 202210787364 A CN202210787364 A CN 202210787364A CN 115296846 B CN115296846 B CN 115296846B
Authority
CN
China
Prior art keywords
flow
abnormal
minute
probability
backtracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210787364.3A
Other languages
English (en)
Other versions
CN115296846A (zh
Inventor
朱文进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Digital Intelligence Technology Co Ltd
Original Assignee
China Telecom Digital Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Digital Intelligence Technology Co Ltd filed Critical China Telecom Digital Intelligence Technology Co Ltd
Priority to CN202210787364.3A priority Critical patent/CN115296846B/zh
Publication of CN115296846A publication Critical patent/CN115296846A/zh
Application granted granted Critical
Publication of CN115296846B publication Critical patent/CN115296846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于马尔可夫链的异常网络流量回溯方法,首先采用95异常流量算法获取要进行异常流量回溯分析的范围,得到历史故障数据库异常流量数据;其中构建马尔可夫链流量回溯模型,通过历史故障数据库异常流量数据结合实时流量数据库综合分析得出正常与异常流量数据集合,将正常与异常流量数据集合生成转移状态矩阵,获得分析结果得出一定时间段范围内发生的异常流量回溯与正常流量概率,概率越大回溯的真实性越高。可减少异常网络带宽流量造成的流量成本核算的不准确性从而带来的经济损失,同时提升网络流量的安全性,系统服务的高效性。

Description

一种基于马尔可夫链的异常网络流量回溯方法
技术领域
本发明属于网络安全技术领域,具体涉及一种基于马尔可夫链的异常网络流量回溯方法。
背景技术
网络安全是国家安全体系的重要一环,网络社会发展程度的不断提高,网络应用的日益普及,网络给人们带来便利的同时,也带来不可忽视的安全风险。异常的网络流量信息会给数据中心网络流量成本核算、网络故障排查造成技术困难及重大的经济损失。针对机房运网络维场景下技术人员对突发的异常网络流量造成的流量成本核算、流量异常分析等情况无法进行有效的处理和解决。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足,提供一种基于马尔可夫链的异常网络流量回溯方法,利用行业内标准的网络流量95算法以网络流量监测指标为数据基础,通过构建马尔可夫链流量回溯模型,为当前时间段正常流量值提供了一个更加标准、精确、科学的流量值,大大减少了异常网络带宽流量造成的流量成本核算的不准确性从而带来的经济损失,同时也提升了网络流量的安全性,系统服务的高效性。
为实现上述技术目的,本发明采取的技术方案为:
一种基于马尔可夫链的异常网络流量回溯方法,包括:
步骤一、采用95异常流量算法获取要进行异常流量回溯分析的范围,得到历史故障数据库异常流量数据;
步骤二、构建马尔可夫链流量回溯模型,通过历史故障数据库异常流量数据结合实时流量数据库综合分析得出正常与异常流量数据集合,将正常与异常流量数据集合生成转移状态矩阵,获得分析结果得出一定时间段范围内发生的异常流量回溯与正常流量概率,概率越大回溯的真实性越高。
为优化上述技术方案,采取的具体措施还包括:
上述的步骤一为:每5分钟取一个点,1个小时12个点,1天12*24个点,一个月按30天算12*24*30=8640个点,然后把数值最高的5%的点去掉,剩下的95%为正常流量范围,则计费点数是8208个点,有432个点不用计费,即异常流量范围;
将正常流量范围采集点数据存储到实时流量数据库,异常流量范围采集点数据存储到历史故障数据库。
上述的步骤二所述模型公式为:X(k+1)=X(k)×P
式中:X(k)表示趋势分析与预测对象在t=k时刻的状态向量,P表示一步转移概率矩阵,X(k+1)表示趋势分析与预测对象在t=k+1时刻的状态向量。
上述的步骤二包括如下步骤:
S1、第一次模型运算:通过访问历史故障数据库获取异常采集点5个一分钟异常采集点数据后,采用二步转移矩阵生成第一数据集合,并输入流量回溯模型进行第一次计算,得出异常流量采集点内每1分钟流量异常发生概率,将连续5次每1分钟流量异常发生概率加权平均获得本次5分钟异常流量发生概率;
S2、基于S1数据进行第二次模型运算:访问实时流量数据库获取离异常采集点上5个一分钟正常采集点数据后,采用二步转移矩阵生成第二数据集合,并输入流量回溯模型进行第二次计算,得出异常流量回溯后真实流量。
上述的第一数据集合包括历史5分钟流量异常发生初始概率、上1分钟流量异常发生转移概率和上1分钟流量正常发生转移概率3组数据。
上述的第二数据集合包括本次5分钟异常流量范围发生异常流量概率、本次1分钟正常流量范围发生异常流量转移概率和本次1分钟正常流量范围发生正常流量转移概率三组数据。
上述的步骤二将将S1模型结果作为本次5分钟异常流量发生概率,引用S1的上1分钟流量异常发生转移概率和上1分钟流量正常发生转移概率作为本次1分钟正常流量范围发生异常流量转移概率和本次1分钟正常流量范围发生正常流量转移概率。
本发明具有以下有益效果:
本发明首先,采用95异常流量算法获取要进行异常流量回溯分析的范围;其次,通过历史故障数据库异常流量数据结合实时流量数据库综合分析得出正常与异常流量数据集合;最后,构建马尔可夫链流量回溯模型,将正常与异常流量数据集合生成转移状态矩阵,获得分析结果得出一定时间段范围内发生的异常流量回溯与正常流量概率,概率越大回溯的真实性越高,经过数据分析后得出的结果为最接近真实的流量,突出了人工智能在流量回溯方面的地位,并弥补了95流量计算方法方法对网络异常流量划分的不准确性。同时采用人工智能模型的数据分析提供了具有参考价值的及科学依据的一种高效人工智能的流量回溯方法。
附图说明
图1为本发明中系统构成图;
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
本发明专利一种基于马尔可夫链的异常网络流量回溯方法,包括:
步骤一:95异常流量算法模块负责通过95异常流量算法获取要进行异常流量回溯分析的范围:
每5分钟取一个点,1个小时12个点,1天12*24个点,一个月按30天算12*24*30=8640个点,然后把数值最高的5%的点去掉,剩下的95%为正常流量范围。
计费点数是8208个点。
有432个点不用计费,即异常流量范围。
正常流量范围采集点数据存储到实时流量数据库,异常流量范围采集点数据存储到历史故障数据库。
步骤二、构建马尔可夫链流量回溯模型,通过历史故障数据库异常流量数据结合实时流量数据库综合分析得出正常与异常流量数据集合,将正常与异常流量数据集合生成转移状态矩阵,获得分析结果得出一定时间段范围内发生的异常流量回溯与正常流量概率,概率越大回溯的真实性越高。
概率矩阵模型公式:X(k+1)=X(k)×P
公式中:X(k)表示趋势分析与预测对象在t=k时刻的状态向量,P表示一步转移概率矩阵,X(k+1)表示趋势分析与预测对象在t=k+1时刻的状态向量。
S1、通过访问历史故障数据库获取异常采集点5个一分钟异常采集点数据后,采用二步转移矩阵生成数据集合,并放入【流量回溯模型】进行第一次计算。得出异常流量采集点内每1分钟流量异常发生概率,并通过加权平均对异常流量5分钟采集点进行细化。
具体描述:【流量回溯模型】需要三组移动概率数据进行模型运算,从而得到本次流量异常发生概率
1、历史5分钟流量异常发生初始概率=从历史故障数据库获取5分钟采集频率历史故障总数/所有故障总数。
例如:历史5分钟流量异常发生初始概率30%,正常70%【0.3 0.7】
2、上1分钟流量异常发生转移概率=通过历史5分钟流量异常发生初始概率30%,经过5分钟采集点对应的实时采集数据库1分钟采集点流量数据分析得出;
上1分钟40%流量可能继续发生异常,60%流量可能转移正常流量【0.6 0.4】
3、上1分钟流量正常发生转移概率=通过历史5分钟流量正常发生初始概率70%,经过5分钟采集点对应的实时采集数据库1分钟采集点流量数据分析得出;
上1分钟30%流量可能转移到异常流量,70%流量可能转移正常流量【0.3 0.7】
采用二步转移矩阵生成数据集合将1、2、3三组数据生成矩形集合放入【流量回溯模型】。预测出本次1分钟流量异常发生概率,循环上述步骤得到每1分钟流量异常发生概率。
历史5分钟流量异常发生初始概率【0.3 0.7】
上1分钟流量异常发生转移概率【0.6、0.4】
上1分钟流量正常发生转移概率【0.3 0.7】
第一次模型运算过程及结果:
步骤1:本次1分钟流量异常发生概=0.3x0.6+0.3x0.7=0.39
步骤2:本次1分钟流量正常发生概率=0.3x0.4+7x0.7=0.61
步骤3:本次1分钟流量异常发生概率【0.39 0.61】
结果:连续5次1分钟流量异常发生概率加权平均获得本次5分钟异常流量发生概率。
S2、通过访问实时采集数据库获取离异常采集点上5个一分钟正常采集点数据后,采用二步转移矩阵生成数据集合,并放入【流量回溯模型】进行第二次计算。得出正常流量采集点内每1分钟流量异常发生概率,并通过加权平均对正常流量5分钟采集点进行细化。
具体描述:【流量回溯模型】需要三组移动概率数据进行模型运算,从而得到本次异常流量回溯概率。
首先,将S1模型训练结果当作本次5分钟异常流量发生概率,当作第一组数据。
其次,由于时间维度相同,因此引用S1的2、3两组数据做为第二和第三组数据。
本次5分钟异常流量范围发生异常流量概率【0.39 0.61】
本次1分钟正常流量范围发生异常流量转移概率【0.6、0.4】
本次1分钟正常流量范围发生正常流量转移概率【0.3 0.7】
将三组数据整合生成矩形集合再次放入【流量回溯模型】
第二次模型运算过程及结果:
步骤1:本次5分钟流量异常范围发生异常流量概率=
0.39x0.6+0.61x0.3=0.417
步骤2:本次1分钟流量正常范围发生异常流量概率=
0.39x0.4+0.61x0.7=0.583
结果:5分钟异常采集点发生流量异常概率【0.417 0.583】异常流量回溯后真实流量=5分钟异常采集点流量x 0.417
实时流量数据库、历史故障数据库中数据分别如表1和表2所示。每间隔1min采集核心交换机端口的实时网络流量(bps),实时流量库中每次采集的数据包括实时流量、采集时间,并记为一条,历史故障数据库中每条故障数据的采集时间为5min。
表1监测过程中某1天00:01-01:00时间段的网络流量数据来自实时流量数据库
表2历史故障数据库中存入故障数据示例
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。

Claims (2)

1.一种基于马尔可夫链的异常网络流量回溯方法,其特征在于,包括:
步骤一、采用95异常流量算法获取要进行异常流量回溯分析的范围,将正常流量范围采集点数据存储到实时流量数据库,异常流量范围采集点数据存储到历史故障数据库,得到历史故障数据库异常流量数据;
步骤二、构建马尔可夫链流量回溯模型,通过历史故障数据库异常流量数据结合实时流量数据库综合分析得出正常与异常流量数据集合,将正常与异常流量数据集合生成转移状态矩阵,获得分析结果得出一定时间段范围内发生的异常流量回溯与正常流量概率,概率越大回溯的真实性越高;
所述步骤二所述模型公式为:X(k+1)=X(k)×P
式中:X(k)表示趋势分析与预测对象在t=k时刻的状态向量,P表示一步转移概率矩阵,X(k+1)表示趋势分析与预测对象在t=k+1时刻的状态向量;
所述步骤二包括如下步骤:
S1、第一次模型运算:通过访问历史故障数据库获取异常采集点5个一分钟异常采集点数据后,采用二步转移矩阵生成第一数据集合,并输入流量回溯模型进行第一次计算,得出异常流量采集点内每1分钟流量异常发生概率,将连续5次每1分钟流量异常发生概率加权平均获得本次5分钟异常流量发生概率;所述第一数据集合包括历史5分钟流量异常发生初始概率、上1分钟流量异常发生转移概率和上1分钟流量正常发生转移概率3组数据;
S2、基于S1数据进行第二次模型运算:访问实时流量数据库获取异常采集点上5个一分钟正常采集点数据后,采用二步转移矩阵生成第二数据集合,并输入流量回溯模型进行第二次计算,得出异常流量回溯后真实流量;所述第二数据集合包括本次5分钟异常流量范围发生异常流量概率、本次1分钟正常流量范围发生异常流量转移概率和本次1分钟正常流量范围发生正常流量转移概率三组数据;
所述步骤二将S1模型结果作为本次5分钟异常流量发生概率,引用S1的上1分钟流量异常发生转移概率和上1分钟流量正常发生转移概率作为本次1分钟正常流量范围发生异常流量转移概率和本次1分钟正常流量范围发生正常流量转移概率。
2.根据权利要求1所述的一种基于马尔可夫链的异常网络流量回溯方法,其特征在于,所述步骤一为:每5分钟取一个点,1个小时12个点,1天12*24个点,一个月按30天算12*24*30=8640个点,然后把数值最高的5%的点去掉,剩下的95%为正常流量范围,则计费点数是8208个点,有432个点不用计费,即异常流量范围。
CN202210787364.3A 2022-07-06 2022-07-06 一种基于马尔可夫链的异常网络流量回溯方法 Active CN115296846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210787364.3A CN115296846B (zh) 2022-07-06 2022-07-06 一种基于马尔可夫链的异常网络流量回溯方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210787364.3A CN115296846B (zh) 2022-07-06 2022-07-06 一种基于马尔可夫链的异常网络流量回溯方法

Publications (2)

Publication Number Publication Date
CN115296846A CN115296846A (zh) 2022-11-04
CN115296846B true CN115296846B (zh) 2024-04-16

Family

ID=83822448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210787364.3A Active CN115296846B (zh) 2022-07-06 2022-07-06 一种基于马尔可夫链的异常网络流量回溯方法

Country Status (1)

Country Link
CN (1) CN115296846B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115987692B (zh) * 2023-03-20 2023-06-06 广州掌动智能科技有限公司 一种基于流量回溯分析的安全防护系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651568A (zh) * 2009-07-01 2010-02-17 青岛农业大学 一种网络流量预测和异常检测方法
CN104408924A (zh) * 2014-12-04 2015-03-11 深圳北航新兴产业技术研究院 一种基于耦合隐马尔可夫模型的城市道路异常交通流检测方法
CN110460458A (zh) * 2019-04-15 2019-11-15 清华大学深圳研究生院 基于多阶马尔科夫链的流量异常检测方法
CN113315781A (zh) * 2021-06-10 2021-08-27 浙江惠瀜网络科技有限公司 基于hmm模型的异常数据检测方法
CN114124492A (zh) * 2021-11-12 2022-03-01 中盈优创资讯科技有限公司 一种网络流量异常检测和分析方法及装置
CN114244687A (zh) * 2021-12-20 2022-03-25 中国电信集团系统集成有限责任公司 基于AIOps网络故障自愈可操作性判断方法
CN114328596A (zh) * 2021-12-15 2022-04-12 中电信数智科技有限公司 一种基于贝叶斯的异常网络流量回溯方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220014086A (ko) * 2020-07-28 2022-02-04 한국전자통신연구원 지능화된 인프라 운용 관리 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651568A (zh) * 2009-07-01 2010-02-17 青岛农业大学 一种网络流量预测和异常检测方法
CN104408924A (zh) * 2014-12-04 2015-03-11 深圳北航新兴产业技术研究院 一种基于耦合隐马尔可夫模型的城市道路异常交通流检测方法
CN110460458A (zh) * 2019-04-15 2019-11-15 清华大学深圳研究生院 基于多阶马尔科夫链的流量异常检测方法
CN113315781A (zh) * 2021-06-10 2021-08-27 浙江惠瀜网络科技有限公司 基于hmm模型的异常数据检测方法
CN114124492A (zh) * 2021-11-12 2022-03-01 中盈优创资讯科技有限公司 一种网络流量异常检测和分析方法及装置
CN114328596A (zh) * 2021-12-15 2022-04-12 中电信数智科技有限公司 一种基于贝叶斯的异常网络流量回溯方法及系统
CN114244687A (zh) * 2021-12-20 2022-03-25 中国电信集团系统集成有限责任公司 基于AIOps网络故障自愈可操作性判断方法

Also Published As

Publication number Publication date
CN115296846A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN115296846B (zh) 一种基于马尔可夫链的异常网络流量回溯方法
CN101555806B (zh) 发电厂生产实时参数分类报警和识别辅助方法
CN114244687B (zh) 基于AIOps网络故障自愈可操作性判断方法
CN109949178B (zh) 一种基于支持向量机中压配网停电事件判断及补全方法
CN115048591A (zh) 一种基于人工智能的配电网全息数据可视化智能展示分析系统
CN114328596A (zh) 一种基于贝叶斯的异常网络流量回溯方法及系统
CN109767108B (zh) 一种电力调度系统线路状态精准分析方法
CN114876717A (zh) 一种水轮发电机组运行故障的保护方法及系统
CN113836196A (zh) 一种电网未定义事件类型识别方法及系统
CN110657072A (zh) 一种基于结构化知识库的风电故障检修方法及系统
CN110513252B (zh) 一种风电场scada系统数据异常告警修复系统与方法
CN112737106A (zh) 一种线损异常分段管控方法
CN110717725B (zh) 基于大数据分析的电网项目选取方法
CN111008908A (zh) 一种阶段式故障诊断方法
CN113672647B (zh) 一种计划停电规范校验方法及装置
CN117336156B (zh) 一种小电流接地告警信号的综合治理系统
US20220317646A1 (en) Self-adaptive test method for intelligent prediction algorithm of analog measured values
CN217206658U (zh) 基于数据关联的燃气发电设备故障预判系统
CN116298675B (zh) 一种基于智能算法的配电网线损异常检测方法及系统
CN109617064B (zh) 一种调度系统中电气对象状态切换分析方法
CN111159620B (zh) 一种评估配电网最小可转供能力的方法和系统
CN107942997A (zh) 一种故障报告显示方法和一种计算机设备
CN114239710A (zh) 基于水电集控监控事件信息的异常判断方法、装置、系统及可读存储介质
CN115083133A (zh) 一种立式水轮发电机组振荡和失步检测预警方法及系统
Yang et al. Construction of regional grid intelligent alarm system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant