CN114401516B - 一种基于虚拟网络流量分析的5g切片网络异常检测方法 - Google Patents

一种基于虚拟网络流量分析的5g切片网络异常检测方法 Download PDF

Info

Publication number
CN114401516B
CN114401516B CN202210029372.1A CN202210029372A CN114401516B CN 114401516 B CN114401516 B CN 114401516B CN 202210029372 A CN202210029372 A CN 202210029372A CN 114401516 B CN114401516 B CN 114401516B
Authority
CN
China
Prior art keywords
flow
data
cluster
characteristic
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210029372.1A
Other languages
English (en)
Other versions
CN114401516A (zh
Inventor
刘中金
邹哲
何跃鹰
邹学强
包秀国
张家琦
邢燕祯
张建松
叶青
吴涛
郭涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinlian Technology Nanjing Co ltd
National Computer Network and Information Security Management Center
Original Assignee
Xinlian Technology Nanjing Co ltd
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinlian Technology Nanjing Co ltd, National Computer Network and Information Security Management Center filed Critical Xinlian Technology Nanjing Co ltd
Priority to CN202210029372.1A priority Critical patent/CN114401516B/zh
Publication of CN114401516A publication Critical patent/CN114401516A/zh
Application granted granted Critical
Publication of CN114401516B publication Critical patent/CN114401516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/12—Detection or prevention of fraud
    • H04W12/121—Wireless intrusion detection systems [WIDS]; Wireless intrusion prevention systems [WIPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于虚拟网络流量分析的5G切片网络异常检测方法，设计获得各采集节点分别所对应的正常累计数据量波动范围集合，并以此为依据，由各采集节点分别针对经过其的各数据流量进行异常分析，做到5G切片业务端到端的安全检测，实现了网络异常检测算法的并行化；并且基于各采集节点对数据流量的OD分流，由中心服务器基于网络拓扑结构，统计网络中各条数据流量的传输、以及各节点分别对经过其的数量流量的异常分析；整个方案设计实现了海量数据存储和计算的本地化，在实现直接采集的同时也为大规模网络的异常检测提供了一个高性能可扩展的分布式分析平台。

Description

一种基于虚拟网络流量分析的5G切片网络异常检测方法
技术领域
本发明涉及一种基于虚拟网络流量分析的5G切片网络异常检测方法，属于网络异常检测技术领域。
背景技术
5G网络技术引入虚拟化技术使得组网模式变得非常灵活，促进了5G技术与垂直行业的深度融合，垂直行业领域中的5G网络建设几乎都是以5G切片专网的形式承载行业应用，从而促进垂直行业应用的数字化转型。虚拟化技术使得网络切片的部署更加便捷，以前需要在专有硬件上实现的网络功能现在可实现在通用服务器上执行，网络切片可以根据行业用户需求定制虚拟网络功能来提供定制化服务。
和传统网络架构相比，虚拟网络功能编排的复杂性使其更容易受到物理网络中异常情况的影响，对于5G网络而言，更多的异常行为会隐蔽在大量的数据流量之中，这就要求异常检测系统从更广的范围，利用更多的数据发掘异常，而5G高速网络的情况是持续到达的海量数据给网络流量的直接测量和分析带了极大的困难。如果要对5G垂直行业专网进行网络异常检测，那么网络切片业务数据端到端通路中的所有数据流经节点均需要监控，而网络结构复杂、软硬件功能各异，部署探针设备统一监控难度很大。由于网络切片中节点分散、测试数据呈海量趋势，原有的入侵检测数据库的存储和处理能力难以满足要求。高速流量也使得攻击手段不断升级，传统的异常检测算法难以适应高速率数据的处理，难以识别出未知异常。
按照信息数据的来源，入侵检测系统分为基于主机的入侵检测系统和基于网络的入侵检测系统、以及混合入侵检测系统。使用范围较广的是基于网络的入侵检测系统，混合入侵检测系统是前两种的结合，能够更全面发现异常，但是对网络管理和硬件的需求较高。
基于网络的入侵检测系统部署在关键的网络节点上，从节点上获得实时网络流量数据，通过分析网络流数据的变化规律发现异常。现有的异常检测方法在进行全网络检测时，大多是由各个节点根据自己的本地数据独立进行检测分析，通过分析单个节点或单条链路流量变化来检测异常，这种方法能满足网络实时监控的需求。但现实情况是很多异常会影响网络中的多条链路，在单条链路的流量变化并不明显，没有利用网络数据的全局特征，检测能力受限，而且随着网络流量数据和范围的不断扩大，这种方法已经难以为大量网络流量数据提供强大的存储和计算能力。
基于网络的入侵检测系统流量采集方法主要有：SNMP的流量采集，基于Sniffer的流量采集和基于Netflow的流量采集。基于SNMP协议的流量采集技术已经非常成熟，传统流量测量方法几乎都是采用SNMP，它有效地将主机、网关等设备组合起来，实现网络设备和网络状态的远程管理，通过设备间SNMP信息输出获得网络信息发现网络问题。这种采集方式的缺陷是安全性不足，而且当大量数据传输时会造成网络堵塞。基于Sniffer的流量采集方法是通过操作系统提供的原语实现数据的发送接收，该方法高度依赖操作系统。基于Netflow的采样技术是利用在网络传输数据时，连续的数据包发送的目的地址一样，采用cache快取机制，Netflow功能设备通过分析接收到的数据包的包头信息，将相同信息的数据包汇集为一条数据流。每条数据流包含源地址、目的地址、源端口、目的端口、协议种类等信息字段。采集到的数据由路由通过UDP发送到接收设备。
网络异常检测能力依赖于流量采集能力和网络流量的分析能力。传统的基于单个链路的网络测量和监测分析难以满足异常检测的需求，因此面向网络整体流量变化信息的流量矩阵分析方向越来越受到关注。同时为了提高异常检测的准确率，作为数据挖掘重要方向的聚类分析技术也发展出多个算法方向，如：层次聚类、划分聚类算法、基于密度的聚类方法、基于网格的方法和基于模型的方法。
发明内容
本发明所要解决的技术问题是提供一种基于虚拟网络流量分析的5G切片网络异常检测方法，通过直方图算法进行分布式异常检测，并提供5G切片多节点部署检测架构，实现了网络异常检测算法的并行化。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于虚拟网络流量分析的5G切片网络异常检测方法，基于中心服务器所连各个采集服务器，以及各采集服务器分别所接各个分布于目标5G切片网络中的采集节点，各采集节点分别按预设第一周期，周期执行如下步骤A至步骤F，更新各采集节点分别所对应的正常累计数据量波动范围集合；并由各采集节点分别按步骤i至步骤iii，针对经过其的各数据流量进行异常分析；
步骤A.采集节点获得其所设目标5G切片网络中虚拟网络设备对应预设目标时长内的各条数据流量，并获得各条数据流量分别所对应包含源IP地址特征、源端口特征、目标IP地址特征、目标端口特征、流量数据量、TCP标识、以及预设各其它特征的各个流量特征，然后进入步骤B；
步骤B.该采集节点分别针对各个流量特征，统计各条数据流量，构建以流量特征为横坐标、累计流量数据量为纵坐标，构建该流量特征所对应的直方图，并以该流量特征横坐标上顺序各对象分别所对应的累计流量数据量，构成该流量特征所对应的直方图向量；进而获得各流量特征分别所对应的直方图向量，然后进入步骤C；
步骤C.该采集节点针对各流量特征分别所对应的直方图向量，基于两两直方图向量之间预设类型的距离，针对各直方图向量进行聚类处理，获得各个簇，然后进入步骤D；
步骤D.该采集节点针对各个簇，基于簇的数据量进行分析，剔除其中的异常簇，获得剩余各个正常簇，然后进入步骤E；
步骤E.该采集节点分别针对各个正常簇中的各个直方图向量，获得直方图向量所对应流量特征对应的累计流量数据量上限与累计流量数据量下限，进而获得各正常簇中各流量特征分别所对应的累计流量数据量上限与累计流量数据量下限，构成该采集节点所对应各分析流量特征下的正常累计数据量波动范围，然后进入步骤F；
步骤F.该采集节点将步骤E中所构成对应的各分析流量特征下的正常累计数据量波动范围，添加该采集节点所对应的正常累计数据量波动范围集合中，更新该采集节点所对应的正常累计数据量波动范围集合；其中，针对相同分析流量特征，应用新正常累计数据量波动范围替换旧正常累计数据量波动范围；
步骤i.采集节点针对经过其、对应预设目标时长内的各条数据流量，并根据该采集节点所对应正常累计数据量波动范围集合中的各分析流量特征，获得该各条数据流量分别所对应的该各个分析流量特征，然后进入步骤ii；
步骤ii.该采集节点按步骤B的方法，获得该各条数据流量所对应该各分析流量特征分别对应的直方图向量，作为各个待分析直方图向量，然后进入步骤iii；
步骤iii.该采集节点分别针对各个待分析直方图向量，判断待分析直方图向量中是否存在不满足相应分析流量特征下正常累计数据量波动范围的累计流量数据量，是则判定该累计流量数据量所对应的数据流量为异常，否则判定该待分析直方图向量中的各个累计流量数据量为正常；进而由该采集节点针对经过其的各数据流量进行异常分析。
作为本发明的一种优选技术方案：所述步骤C包括如下步骤C1至步骤C5；
步骤C1.采集节点将各流量特征分别所对应的直方图向量，定义为各个待分析对象，并进入步骤C2；
步骤C2.获得两两待分析对象之间预设类型的距离，并判断其中最小距离是否小于预设阈值距离，是则进入步骤C3；否则进入步骤C4；
步骤C3.若该最小距离所对应的两个待分析对象为两个直方图向量，则将该两个直方图向量归为同一个簇，并定义该两个直方图向量为非待分析对象，以及获得该簇的簇中心，将该簇中心定义为待分析对象，然后返回步骤C2；
若该最小距离所对应的两个待分析对象为一个直方图向量与一个簇中心，则将该直方图向量归至该簇中心所对应的簇中更新，并定义该直方图向量为非待分析对象，以及删除该簇原簇中心定义的待分析对象，获得该簇的新簇中心，将该新簇中心定义为待分析对象，然后返回步骤C2；
若该最小距离所对应的两个待分析对象为两个簇中心，则将该两个簇中心分别所对应的簇归为同一个簇，并获得该簇的簇中心，将该簇中心定义为待分析对象，以及删除该两个原簇中心定义的待分析对象，然后返回步骤C2；
步骤C4.判断是否存在为直方图向量的待分析对象，是则将各个直方图向量的待分析对象分别构成各个簇，否则不做任何进一步处理；然后进入步骤C5；
步骤C5.即获得各直方图向量进行聚类处理所对应的各个簇，然后进入步骤D。
作为本发明的一种优选技术方案：所述步骤C2中，获得两两待分析对象之间预设类型的距离为马氏距离或欧式距离。
作为本发明的一种优选技术方案：所述步骤D包括如下步骤D1至步骤D4；
步骤D1.采集节点获得各个簇的数据量，并针对各个簇按数据量由小至大的顺序进行排序，并初始化Q等于0，进入步骤D2；
步骤D2.若Q≥S或则进入步骤D4；否则进入步骤D3；其中，S表示簇的数量，|Dq|表示第q个簇Dq中直方图向量的数量，m表示直方图的数量，p表示预设阈值；
步骤D3.针对Q的值进行加1更新，然后返回步骤D2；
步骤D4.判定第Q个簇、以及排序位于第Q个簇之前的各个簇均为异常簇，并剔除该各个异常簇，获得剩余各个正常簇，然后进入步骤E。
作为本发明的一种优选技术方案：所述预设阈值p等于0.05。
作为本发明的一种优选技术方案：各采集节点分别针对经过其的各条数据流量进行OD分流，并获得各条数据流量分别所对应包含源IP地址特征、源端口特征、目标IP地址特征、目标端口特征、流量数据量、TCP标识、以及预设各其它特征的各个流量特征；并且各采集节点基于中心服务器所连各个采集服务器、以及各采集服务器分别所接各个采集节点的网络拓扑结构，结合实时更新的网络BGP路由表，确定各条数据流量的下一跳地址，并进行数据流量的传输；
中心服务器基于网络拓扑结构，由中心服务器统计网络中各条数据流量的传输、以及各节点分别对经过其的数量流量的异常分析。
作为本发明的一种优选技术方案：各采集节点分别针对经过其的各个流量特征，根据数据流量所对应的源IP地址特征、目标IP地址特征，结合网络拓扑结构、以及实时更新的网络BGP路由表，应用二进制树方法进行IP地址最长网络前缀匹配方法，按如下过程，确定数据流量的下一跳地址，并进行数据流量的传输；
根据数据流量所对应目标IP地址特征前缀中每一位的值构建二进制树的左右分支，其中，值为1则构建左分支，值为0则构建右分支，直至目的IP地址特征前缀结束，结合结合网络拓扑结构、以及实时更新的网络BGP路由表，通过与该二进制树的匹配，确定数据流量的下一跳地址，并存储在该二进制树叶子节点位置。
作为本发明的一种优选技术方案：所述步骤A至步骤B中，应用MapReduce框架，按如下方式，获得各流量特征分别所对应的直方图向量；
采集节点分别针对各个流量特征，首先应用map函数获得各条数据流量分别所对应包含源IP地址特征、源端口特征、目标IP地址特征、目标端口特征、流量数据量、TCP标识、以及预设各其它特征的各个流量特征，并应用hash函数处理，获得各条数据流量分别对应<key,value>型的各个流量特征，key为流量特征维度，value为1；然后该采集节点针对相同key值的数据流量的流量数据量进行统计，即执行Reduce任务，输出<key,value>型数据表示流量特征维度对应的累计流量数据量；最后该采集节点将将不同key对应的value值形成直方图向量。
作为本发明的一种优选技术方案：所述步骤C中采集节点针对各流量特征分别所对应的直方图向量，应用MapReduce框架，按如下方式，获得两两直方图向量之间预设类型的距离；
1)在Map阶段，将各直方图向量中的元素，定义为<key,value>型的数据，key为流量特征维度，value表示流量特征维度的值；
2)在shuffle阶段，由中心服务器、各采集服务器、以及各采集节点所组成网络拓扑结构的Hadoop系统，将相同key值的value值汇聚到一个列表中，构建该列表，并传递给Reduce阶段；
3)在Reduce阶段，针对value值为1和2，将所获列表中的数据分成两类，并将其中一类数据依次放入数组，进而应用距离计算公式计算两直方图向量的距离。
本发明所述一种基于虚拟网络流量分析的5G切片网络异常检测方法，采用以上技术方案与现有技术相比，具有以下技术效果：
(1)本发明所设计基于虚拟网络流量分析的5G切片网络异常检测方法，基于中心服务器所连各个采集服务器，以及各采集服务器分别所接各个分布于目标5G切片网络中的采集节点，设计获得各采集节点分别所对应的正常累计数据量波动范围集合，并以此为依据，由各采集节点分别针对经过其的各数据流量进行异常分析，做到5G切片业务端到端的安全检测，实现了网络异常检测算法的并行化；并且基于各采集节点对数据流量的OD分流，由中心服务器基于网络拓扑结构，统计网络中各条数据流量的传输、以及各节点分别对经过其的数量流量的异常分析；整个方案设计实现了海量数据存储和计算的本地化，在实现直接采集的同时也为大规模网络的异常检测提供了一个高性能可扩展的分布式分析平台。
附图说明
图1是本发明设计中基于5G切片网络所部署的HDFS集群示意图；
图2是本发明设计基于虚拟网络流量分析的5G切片网络异常检测方法的系统化示意图；
图3是本发明设计实施例中二进制树示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计中，中心服务器所连各个采集服务器，以及各采集服务器分别所接各个分布于目标5G切片网络中的采集节点，共同组成一个HDFS集群，如图1所示。由中心服务器进行管理，实现海量数据存储和计算的本地化，在实现直接采集的同时，也为大规模网络的异常检测提供了一个高性能可扩展的分布式分析平台。
数据文件写入HDFS进行存储时，为了保证数据可靠性，HDFS采用机架感知的策略将多个副本放在不同的机架上，为了减少跨越机架的网络I/O，其中一个副本常被放在和写文件的节点同一机架上的某个节点中。为了减少大数据的移动，设置Hadoop副本数为1，而HDFS不能自动判断各节点的拓扑，通过配置dfs.network.script参数将同一采集服务器的节点设置为同一机架，即采集服务器对接多个采集节点，并设于同一机架上，实现采集数据的本地化存储，有效解决了直接采集的数据传输和存储问题，而MapReduce框架为海量数据的分析提供了所需的计算能力。
HDFS作为Hadoop系统的主要核心之一，实现了数据的分布式存储，这个系统能使用低廉的机器提供强大的存储能力，并具有良好的扩展能力和很高的容错能力。MapReduce是一种在大规模集群上处理海量数据的并行计算模型，基本思想是借助映射(map)和规约(Reduce)，将处理过程分为Map()和Reduce()操作，每个阶段的输入和输出都以<key,value>键值对的形式表示。Map阶段对输入的数据进行切分处理，输出<key，value>形式的数据集合作为中间数据进行存储，在Map输出数据之后，存储到硬盘前，可以对输出数据进行hash处理，从而实现Reduce任务的负载均衡。经过hash处理之后的数据通过Shuffle进行排序操作，也可以通过设置Combiner合并排序后的结果来减少磁盘的I/O操作。简单排序合并后的数据交给Reduce进行处理。
基于以上分布式流量分析平台，本发明提出了一种基于虚拟网络流量分析的5G切片网络异常检测方法，具体基于直方图算法的异常检测，以流量的异常检测技术，关注全局网络异常检测算法，关注大规模网络流量间的自相关性，本发明采用的基于直方图的异常检测算法，通过分析5G切片网络中各个节点的采集到的虚拟流量特征的分布来发现异常，然后在MapReduce框架下实现算法的并行化。直方图比熵提供了更加细粒度的数据信息，从而能发现更多没有引起流量明显变化的异常。
具体设计中，如图1和图2所示，各采集节点分别按预设第一周期，周期执行如下步骤A至步骤F，更新各采集节点分别所对应的正常累计数据量波动范围集合；并由各采集节点分别按步骤i至步骤iii，针对经过其的各数据流量进行异常分析。
步骤A.采集节点获得其所设目标5G切片网络中虚拟网络设备对应预设目标时长内的各条数据流量，并获得各条数据流量分别所对应包含源IP地址特征、源端口特征、目标IP地址特征、目标端口特征、流量数据量、TCP标识、以及预设各其它特征的各个流量特征，然后进入步骤B。
关于数据流量的采集，具体来说，采集实现过程由导出模块和采集模块组成。导出模块实现流量从虚拟网络设备到采集模块的传输，导出模块为支持Netflow功能的路由器，通过配置，使路由向目的地发送采集的流数据。采集模块分为采集子模块和处理子模块，Netflow采集子模块对数据包进行解析获得流数据，之后处理存储子模块将对解析后的原始流数据进行处理获取关键字信息。
在基于直方图的检测算法中，需要对海量流数据进行统计，并计算各对相间的相似度，如果要满足检测系统实时性和准确性的需求，实现对海量流数据的快速处理，需要对算法并行化，实现数据的分布式处理，提高算法对大数据的处理能力。本方案基于直方图的检测方法在MapReduce框架下进行并行化改进。
步骤B.该采集节点分别针对各个流量特征，统计各条数据流量，构建以流量特征为横坐标、累计流量数据量为纵坐标，构建该流量特征所对应的直方图，并以该流量特征横坐标上顺序各对象分别所对应的累计流量数据量，构成该流量特征所对应的直方图向量；进而获得各流量特征分别所对应的直方图向量，然后进入步骤C。
在实际应用当中，上述步骤A至步骤B中，应用MapReduce框架，按如下方式，获得各流量特征分别所对应的直方图向量。
采集节点分别针对各个流量特征，首先应用map函数获得各条数据流量分别所对应包含源IP地址特征、源端口特征、目标IP地址特征、目标端口特征、流量数据量、TCP标识、以及预设各其它特征的各个流量特征，并应用hash函数处理，获得各条数据流量分别对应<key,value>型的各个流量特征，key为流量特征维度，value为1；然后该采集节点针对相同key值的数据流量的流量数据量进行统计，即执行Reduce任务，输出<key,value>型数据表示流量特征维度对应的累计流量数据量；最后该采集节点将将不同key对应的value值形成直方图向量。
异常检测领域一般是通过聚类建立正常行为模型，为了达到良好的簇聚类效果，本发明采用凝聚的层次聚类算法实现正常行为的建模，凝聚的层次聚类是自下而上的，将每个对象看作一个原子类，根据距离公式计算各点之间的距离，并根据距离进行合并，直到所有对象合并到一个簇中或满足条件。
步骤C.该采集节点针对各流量特征分别所对应的直方图向量，基于两两直方图向量之间预设类型的距离，针对各直方图向量进行聚类处理，获得各个簇，然后进入步骤D。
上述步骤C在实际应用当中，具体执行如下步骤C1至步骤C5。
步骤C1.采集节点将各流量特征分别所对应的直方图向量，定义为各个待分析对象，并进入步骤C2。
步骤C2.获得两两待分析对象之间预设类型的距离，并判断其中最小距离是否小于预设阈值距离，是则进入步骤C3；否则进入步骤C4。
实际应用中，在同一直方图向量中，不同属性的流量值偏移程度不同，为了更好的反映向量之间的相似度，本方案采用马氏距离计算流量样本之间的相似度。
假设D为某一个特征的直方图向量集合，X＝(x1,x2,…xn)T和X＝Y＝(y1,y2,…yn)T∈D，协方差矩阵为S，样本之间的马氏距离，即协方差距离计算如下：
当协方差矩阵为对角矩阵时，马氏距离变为欧式距离：
其中为第i个属性的标准差。
步骤C3.若该最小距离所对应的两个待分析对象为两个直方图向量，则将该两个直方图向量归为同一个簇，并定义该两个直方图向量为非待分析对象，以及获得该簇的簇中心，将该簇中心定义为待分析对象，然后返回步骤C2；
若该最小距离所对应的两个待分析对象为一个直方图向量与一个簇中心，则将该直方图向量归至该簇中心所对应的簇中更新，并定义该直方图向量为非待分析对象，以及删除该簇原簇中心定义的待分析对象，获得该簇的新簇中心，将该新簇中心定义为待分析对象，然后返回步骤C2；
若该最小距离所对应的两个待分析对象为两个簇中心，则将该两个簇中心分别所对应的簇归为同一个簇，并获得该簇的簇中心，将该簇中心定义为待分析对象，以及删除该两个原簇中心定义的待分析对象，然后返回步骤C2。
步骤C4.判断是否存在为直方图向量的待分析对象，是则将各个直方图向量的待分析对象分别构成各个簇，否则不做任何进一步处理；然后进入步骤C5。
步骤C5.即获得各直方图向量进行聚类处理所对应的各个簇，然后进入步骤D。
实际应用当中，上述步骤C中采集节点针对各流量特征分别所对应的直方图向量，应用MapReduce框架，按如下方式，获得两两直方图向量之间预设类型的距离；
1)在Map阶段，将各直方图向量中的元素，定义为<key,value>型的数据，key为流量特征维度，value表示流量特征维度的值；
2)在shuffle阶段，由中心服务器、各采集服务器、以及各采集节点所组成网络拓扑结构的Hadoop系统，将相同key值的value值汇聚到一个列表中，构建该列表，并传递给Reduce阶段；
3)在Reduce阶段，针对value值为1和2，将所获列表中的数据分成两类，并将其中一类数据依次放入数组，进而应用距离计算公式计算两直方图向量的距离。
步骤D.该采集节点针对各个簇，基于簇的数据量进行分析，剔除其中的异常簇，获得剩余各个正常簇，然后进入步骤E。
实际应用当中，上述步骤D具体执行如下步骤D1至步骤D4。
步骤D1.采集节点获得各个簇的数据量，并针对各个簇按数据量由小至大的顺序进行排序，并初始化Q等于0，进入步骤D2。
步骤D2.若Q≥S或则进入步骤D4；否则进入步骤D3；其中，S表示簇的数量，|Dq|表示第q个簇Dq中直方图向量的数量，m表示直方图的数量，p表示预设阈值；实际应用中，具体设计预设阈值p等于0.05。
步骤D3.针对Q的值进行加1更新，然后返回步骤D2。
步骤D4.判定第Q个簇、以及排序位于第Q个簇之前的各个簇均为异常簇，并剔除该各个异常簇，获得剩余各个正常簇，然后进入步骤E。
步骤E.该采集节点分别针对各个正常簇中的各个直方图向量，获得直方图向量所对应流量特征对应的累计流量数据量上限与累计流量数据量下限，进而获得各正常簇中各流量特征分别所对应的累计流量数据量上限与累计流量数据量下限，构成该采集节点所对应各分析流量特征下的正常累计数据量波动范围，然后进入步骤F。
步骤F.该采集节点将步骤E中所构成对应的各分析流量特征下的正常累计数据量波动范围，添加该采集节点所对应的正常累计数据量波动范围集合中，更新该采集节点所对应的正常累计数据量波动范围集合；其中，针对相同分析流量特征，应用新正常累计数据量波动范围替换旧正常累计数据量波动范围。
步骤i.采集节点针对经过其、对应预设目标时长内的各条数据流量，并根据该采集节点所对应正常累计数据量波动范围集合中的各分析流量特征，获得该各条数据流量分别所对应的该各个分析流量特征，然后进入步骤ii。
步骤ii.该采集节点按步骤B的方法，获得该各条数据流量所对应该各分析流量特征分别对应的直方图向量，作为各个待分析直方图向量，然后进入步骤iii。
步骤iii.该采集节点分别针对各个待分析直方图向量，判断待分析直方图向量中是否存在不满足相应分析流量特征下正常累计数据量波动范围的累计流量数据量，是则判定该累计流量数据量所对应的数据流量为异常，否则判定该待分析直方图向量中的各个累计流量数据量为正常；进而由该采集节点针对经过其的各数据流量进行异常分析。
OD(Original Destination)对表示在一个网络中一条数据流经过的入口节点和出口节点的映射关系，OD分流是对每个时间间隔内采集的流量进行分流，确定每条流的入口节点和出口节点，以便更好的反映节点之间的流量变化。具体OD分流算法是根据BGP路由表信息和相关拓扑信息进行实现。
流量入口节点即为每个采集点，为了确定每个采集节点的流数据在网络中的出口路由，我们需要重现BGP路由的转发过程，BGP路由表显示了从BGP转发表中前往每个网络的最佳路由所对应的端口地址，即下一跳地址。根据数据流目的网络前缀和BGP表信息能够获得下一跳地址，而目的网络前缀具有任意长度，且不再对应IP地址的网络部分，因而无法根据目的IP地址直接确定路由表中转发时对应的网络前缀。
因此，如图2所示，上述设计方案在执行的同时，各采集节点分别针对经过其的各条数据流量进行OD分流，并获得各条数据流量分别所对应包含源IP地址特征、源端口特征、目标IP地址特征、目标端口特征、流量数据量、TCP标识、以及预设各其它特征的各个流量特征；并且各采集节点基于中心服务器所连各个采集服务器、以及各采集服务器分别所接各个采集节点的网络拓扑结构，结合实时更新的网络BGP路由表，确定各条数据流量的下一跳地址，并进行数据流量的传输；中心服务器基于网络拓扑结构，由中心服务器统计网络中各条数据流量的传输、以及各节点分别对经过其的数量流量的异常分析。
实际应用当中，关于采集节点确定经过其的数据流量的下一跳地址，具体实施中，各采集节点分别针对经过其的各个流量特征，根据数据流量所对应的源IP地址特征、目标IP地址特征，结合网络拓扑结构、以及实时更新的网络BGP路由表，应用二进制树方法进行IP地址最长网络前缀匹配方法，按如下过程，确定数据流量的下一跳地址，并进行数据流量的传输。
根据数据流量所对应目标IP地址特征前缀中每一位的值构建二进制树的左右分支，其中，值为1则构建左分支，值为0则构建右分支，直至目的IP地址特征前缀结束，结合结合网络拓扑结构、以及实时更新的网络BGP路由表，通过与该二进制树的匹配，确定数据流量的下一跳地址，并存储在该二进制树叶子节点位置。
具体实施应用中，如3所示，在Trie树中，处于第L层的节点代表了一类地址前缀L个比特均相同的地址空间，并且这前L个比特串就是由根节点到这个节点路径上的L个比特组成，如处于第三层的节点C代表了所有前三个比特为011的地址族。与地址前缀对应的节点包含了转发信息。
然后，对二进制Trie树进行更新，为了确保信息的准确，需要不断更新路由表信息，信息的更新包括节点的创建，节点信息的改变，节点的删除。由于白色节点不含转发信息，在适当时候可以进行删除以减少存储，节点的删除遵循自底向上，只删除白色的叶子节点。最后，对每条数据流进行最长前缀查找，根据目的地址的每一位值来选择树的分支，直到到达叶子节点或再无匹配的分支。此时节点中的转发信息就是该条流对应的下一跳地址。
在获得流的下一跳地址之后，根据网络拓扑确定下一跳地址对应的路由节点，从而确定出口路由。BGP路由表的获取频率关系到分流算法的准确性，为了提高准确性，本方案确定12小时获得一次BGP路由表的更新信息。
上述技术方案所设计基于虚拟网络流量分析的5G切片网络异常检测方法，基于中心服务器所连各个采集服务器，以及各采集服务器分别所接各个分布于目标5G切片网络中的采集节点，设计获得各采集节点分别所对应的正常累计数据量波动范围集合，并以此为依据，由各采集节点分别针对经过其的各数据流量进行异常分析，做到5G切片业务端到端的安全检测，实现了网络异常检测算法的并行化；并且基于各采集节点对数据流量的OD分流，由中心服务器基于网络拓扑结构，统计网络中各条数据流量的传输、以及各节点分别对经过其的数量流量的异常分析；整个方案设计实现了海量数据存储和计算的本地化，在实现直接采集的同时也为大规模网络的异常检测提供了一个高性能可扩展的分布式分析平台。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (9)

1.一种基于虚拟网络流量分析的5G切片网络异常检测方法，其特征在于：基于中心服务器所连各个采集服务器，以及各采集服务器分别所接各个分布于目标5G切片网络中的采集节点，各采集节点分别按预设第一周期，周期执行如下步骤A至步骤F，更新各采集节点分别所对应的正常累计数据量波动范围集合；并由各采集节点分别按步骤i至步骤iii，针对经过其的各数据流量进行异常分析；
步骤A.采集节点获得其所设目标5G切片网络中虚拟网络设备对应预设目标时长内的各条数据流量，并获得各条数据流量分别所对应包含源IP地址特征、源端口特征、目标IP地址特征、目标端口特征、流量数据量、TCP标识、以及预设各其它特征的各个流量特征，然后进入步骤B；
步骤B.该采集节点分别针对各个流量特征，统计各条数据流量，构建以流量特征为横坐标、累计流量数据量为纵坐标，构建该流量特征所对应的直方图，并以该流量特征横坐标上顺序各对象分别所对应的累计流量数据量，构成该流量特征所对应的直方图向量；进而获得各流量特征分别所对应的直方图向量，然后进入步骤C；
步骤C.该采集节点针对各流量特征分别所对应的直方图向量，基于两两直方图向量之间预设类型的距离，针对各直方图向量进行聚类处理，获得各个簇，然后进入步骤D；
步骤D.该采集节点针对各个簇，基于簇的数据量进行分析，剔除其中的异常簇，获得剩余各个正常簇，然后进入步骤E；
步骤E.该采集节点分别针对各个正常簇中的各个直方图向量，获得直方图向量所对应流量特征对应的累计流量数据量上限与累计流量数据量下限，进而获得各正常簇中各流量特征分别所对应的累计流量数据量上限与累计流量数据量下限，构成该采集节点所对应各分析流量特征下的正常累计数据量波动范围，然后进入步骤F；
步骤F.该采集节点将步骤E中所构成对应的各分析流量特征下的正常累计数据量波动范围，添加该采集节点所对应的正常累计数据量波动范围集合中，更新该采集节点所对应的正常累计数据量波动范围集合；其中，针对相同分析流量特征，应用新正常累计数据量波动范围替换旧正常累计数据量波动范围；
步骤i.采集节点针对经过其、对应预设目标时长内的各条数据流量，并根据该采集节点所对应正常累计数据量波动范围集合中的各分析流量特征，获得该各条数据流量分别所对应的该各个分析流量特征，然后进入步骤ii；
步骤ii.该采集节点按步骤B的方法，获得该各条数据流量所对应该各分析流量特征分别对应的直方图向量，作为各个待分析直方图向量，然后进入步骤iii；
步骤iii.该采集节点分别针对各个待分析直方图向量，判断待分析直方图向量中是否存在不满足相应分析流量特征下正常累计数据量波动范围的累计流量数据量，是则判定该累计流量数据量所对应的数据流量为异常，否则判定该待分析直方图向量中的各个累计流量数据量为正常；进而由该采集节点针对经过其的各数据流量进行异常分析。
2.根据权利要求1所述一种基于虚拟网络流量分析的5G切片网络异常检测方法，其特征在于：所述步骤C包括如下步骤C1至步骤C5；
步骤C1.采集节点将各流量特征分别所对应的直方图向量，定义为各个待分析对象，并进入步骤C2；
步骤C2.获得两两待分析对象之间预设类型的距离，并判断其中最小距离是否小于预设阈值距离，是则进入步骤C3；否则进入步骤C4；
步骤C3.若该最小距离所对应的两个待分析对象为两个直方图向量，则将该两个直方图向量归为同一个簇，并定义该两个直方图向量为非待分析对象，以及获得该簇的簇中心，将该簇中心定义为待分析对象，然后返回步骤C2；
若该最小距离所对应的两个待分析对象为一个直方图向量与一个簇中心，则将该直方图向量归至该簇中心所对应的簇中更新，并定义该直方图向量为非待分析对象，以及删除该簇原簇中心定义的待分析对象，获得该簇的新簇中心，将该新簇中心定义为待分析对象，然后返回步骤C2；
若该最小距离所对应的两个待分析对象为两个簇中心，则将该两个簇中心分别所对应的簇归为同一个簇，并获得该簇的簇中心，将该簇中心定义为待分析对象，以及删除该两个原簇中心定义的待分析对象，然后返回步骤C2；
步骤C4.判断是否存在为直方图向量的待分析对象，是则将各个直方图向量的待分析对象分别构成各个簇，否则不做任何进一步处理；然后进入步骤C5；
步骤C5.即获得各直方图向量进行聚类处理所对应的各个簇，然后进入步骤D。
3.根据权利要求2所述一种基于虚拟网络流量分析的5G切片网络异常检测方法，其特征在于：所述步骤C2中，获得两两待分析对象之间预设类型的距离为马氏距离或欧式距离。
4.根据权利要求1所述一种基于虚拟网络流量分析的5G切片网络异常检测方法，其特征在于：所述步骤D包括如下步骤D1至步骤D4；
步骤D1.采集节点获得各个簇的数据量，并针对各个簇按数据量由小至大的顺序进行排序，并初始化Q等于0，进入步骤D2；
步骤D2.若Q≥S或则进入步骤D4；否则进入步骤D3；其中，S表示簇的数量，|Dq|表示第q个簇Dq中直方图向量的数量，m表示直方图的数量，p表示预设阈值；
步骤D3.针对Q的值进行加1更新，然后返回步骤D2；
步骤D4.判定第Q个簇、以及排序位于第Q个簇之前的各个簇均为异常簇，并剔除该各个异常簇，获得剩余各个正常簇，然后进入步骤E。
5.根据权利要求4所述一种基于虚拟网络流量分析的5G切片网络异常检测方法，其特征在于：所述预设阈值p等于0.05。
6.根据权利要求1所述一种基于虚拟网络流量分析的5G切片网络异常检测方法，其特征在于：各采集节点分别针对经过其的各条数据流量进行OD分流，并获得各条数据流量分别所对应包含源IP地址特征、源端口特征、目标IP地址特征、目标端口特征、流量数据量、TCP标识、以及预设各其它特征的各个流量特征；并且各采集节点基于中心服务器所连各个采集服务器、以及各采集服务器分别所接各个采集节点的网络拓扑结构，结合实时更新的网络BGP路由表，确定各条数据流量的下一跳地址，并进行数据流量的传输；
中心服务器基于网络拓扑结构，由中心服务器统计网络中各条数据流量的传输、以及各节点分别对经过其的数量流量的异常分析。
7.根据权利要求6所述一种基于虚拟网络流量分析的5G切片网络异常检测方法，其特征在于：各采集节点分别针对经过其的各个流量特征，根据数据流量所对应的源IP地址特征、目标IP地址特征，结合网络拓扑结构、以及实时更新的网络BGP路由表，应用二进制树方法进行IP地址最长网络前缀匹配方法，按如下过程，确定数据流量的下一跳地址，并进行数据流量的传输；
根据数据流量所对应目标IP地址特征前缀中每一位的值构建二进制树的左右分支，其中，值为1则构建左分支，值为0则构建右分支，直至目的IP地址特征前缀结束，结合结合网络拓扑结构、以及实时更新的网络BGP路由表，通过与该二进制树的匹配，确定数据流量的下一跳地址，并存储在该二进制树叶子节点位置。
8.根据权利要求1所述一种基于虚拟网络流量分析的5G切片网络异常检测方法，其特征在于：所述步骤A至步骤B中，应用MapReduce框架，按如下方式，获得各流量特征分别所对应的直方图向量；
采集节点分别针对各个流量特征，首先应用map函数获得各条数据流量分别所对应包含源IP地址特征、源端口特征、目标IP地址特征、目标端口特征、流量数据量、TCP标识、以及预设各其它特征的各个流量特征，并应用hash函数处理，获得各条数据流量分别对应<key,value>型的各个流量特征，key为流量特征维度，value为1；然后该采集节点针对相同key值的数据流量的流量数据量进行统计，即执行Reduce任务，输出<key,value>型数据表示流量特征维度对应的累计流量数据量；最后该采集节点将将不同key对应的value值形成直方图向量。
9.根据权利要求1所述一种基于虚拟网络流量分析的5G切片网络异常检测方法，其特征在于：所述步骤C中采集节点针对各流量特征分别所对应的直方图向量，应用MapReduce框架，按如下方式，获得两两直方图向量之间预设类型的距离；
1)在Map阶段，将各直方图向量中的元素，定义为<key,value>型的数据，key为流量特征维度，value表示流量特征维度的值；
2)在shuffle阶段，由中心服务器、各采集服务器、以及各采集节点所组成网络拓扑结构的Hadoop系统，将相同key值的value值汇聚到一个列表中，构建该列表，并传递给Reduce阶段；
在Reduce阶段，针对value值为1和2，将所获列表中的数据分成两类，并将其中一类数据依次放入数组，进而应用距离计算公式计算两直方图向量的距离。
CN202210029372.1A 2022-01-11 2022-01-11 一种基于虚拟网络流量分析的5g切片网络异常检测方法 Active CN114401516B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210029372.1A CN114401516B (zh) 2022-01-11 2022-01-11 一种基于虚拟网络流量分析的5g切片网络异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210029372.1A CN114401516B (zh) 2022-01-11 2022-01-11 一种基于虚拟网络流量分析的5g切片网络异常检测方法

Publications (2)

Publication Number Publication Date
CN114401516A CN114401516A (zh) 2022-04-26
CN114401516B true CN114401516B (zh) 2024-05-10

Family

ID=81230460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210029372.1A Active CN114401516B (zh) 2022-01-11 2022-01-11 一种基于虚拟网络流量分析的5g切片网络异常检测方法

Country Status (1)

Country Link
CN (1) CN114401516B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116318434B (zh) * 2023-02-03 2023-09-12 军事科学院系统工程研究院网络信息研究所 一种空间太赫兹通信网络切片与聚类流量的动态匹配方法
CN116074844B (zh) * 2023-04-06 2023-06-09 广东电力交易中心有限责任公司 一种基于全流量自适应检测的5g切片逃逸攻击检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107231384A (zh) * 2017-08-10 2017-10-03 北京科技大学 一种面向5g网络切片的DDoS攻击检测防御方法及系统
WO2018126984A2 (zh) * 2017-01-06 2018-07-12 江南大学 一种基于mea-bp神经网络wsn异常检测方法
CN108566659A (zh) * 2018-01-09 2018-09-21 重庆邮电大学 一种基于可靠性的5g网络切片在线映射方法
CN108632931A (zh) * 2018-05-14 2018-10-09 广东工业大学 一种基于5g网络的数据传输方法、装置、设备及介质
CN110149343A (zh) * 2019-05-31 2019-08-20 国家计算机网络与信息安全管理中心 一种基于流的异常通联行为检测方法和系统
CN112202783A (zh) * 2020-09-30 2021-01-08 国家计算机网络与信息安全管理中心 一种基于自适应深度学习的5g网络异常检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11770392B2 (en) * 2020-01-08 2023-09-26 Bank Of America Corporation Method and system for data communication with anomaly detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018126984A2 (zh) * 2017-01-06 2018-07-12 江南大学 一种基于mea-bp神经网络wsn异常检测方法
CN107231384A (zh) * 2017-08-10 2017-10-03 北京科技大学 一种面向5g网络切片的DDoS攻击检测防御方法及系统
CN108566659A (zh) * 2018-01-09 2018-09-21 重庆邮电大学 一种基于可靠性的5g网络切片在线映射方法
CN108632931A (zh) * 2018-05-14 2018-10-09 广东工业大学 一种基于5g网络的数据传输方法、装置、设备及介质
CN110149343A (zh) * 2019-05-31 2019-08-20 国家计算机网络与信息安全管理中心 一种基于流的异常通联行为检测方法和系统
CN112202783A (zh) * 2020-09-30 2021-01-08 国家计算机网络与信息安全管理中心 一种基于自适应深度学习的5g网络异常检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
High-performance image contour delineation method based on piecewise cubic Bezier curves fitting;Zihan Zhuo;《2016 IEEE International Conference on Signal and Image Processing (ICSIP)》;20170330;全文 *
一种基于云计算的网络流量分析系统结构;孙韩林;;西安邮电大学学报;20130710(04);全文 *
面向大规模嵌入式设备固件的自动化分析方法;王猛涛;《北京邮电大学学报》;20170615;第40卷;全文 *

Also Published As

Publication number Publication date
CN114401516A (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN109981691B (zh) 一种面向SDN控制器的实时DDoS攻击检测系统与方法
CN111565205B (zh) 网络攻击识别方法、装置、计算机设备和存储介质
CN107665191B (zh) 一种基于扩展前缀树的私有协议报文格式推断方法
US10177998B2 (en) Augmenting flow data for improved network monitoring and management
CN114401516B (zh) 一种基于虚拟网络流量分析的5g切片网络异常检测方法
CN115412947B (zh) 一种基于数字孪生与ai算法的故障仿真方法和系统
WO2017160409A1 (en) Real-time detection of abnormal network connections in streaming data
CN107683586A (zh) 用于异常检测中的计算基于小区密度的稀有度的方法和装置
Liu et al. SDN-based traffic matrix estimation in data center networks through large size flow identification
US6639900B1 (en) Use of generic classifiers to determine physical topology in heterogeneous networking environments
CN115442275B (zh) 基于分级可信流的混合遥测方法和系统
CN114172688A (zh) 基于gcn-dl的加密流量网络威胁关键节点自动提取方法
Kamath et al. Machine learning based flow classification in DCNs using P4 switches
CN108923962B (zh) 一种基于半监督聚类的局部网络拓扑测量任务选择方法
US11848959B2 (en) Method for detecting and defending DDoS attack in SDN environment
Akem et al. Jewel: Resource-efficient joint packet and flow level inference in programmable switches
Kardes et al. Graph based induction of unresponsive routers in internet topologies
CN109800231B (zh) 一种基于Flink的实时轨迹co-movement运动模式检测方法
CN113259263B (zh) 一种深度报文检测集群中的数据包调度方法
Zou et al. An identification decision tree learning model for self-management in virtual radio access network: IDTLM
CN114145002A (zh) 网络验证系统的可达矩阵
CN115473688A (zh) 面向软件定义网络的异常检测方法、装置及设备
Al-Saadi et al. A novel approach for performance-based clustering and management of network traffic flows
Baralis et al. Netcluster: A clustering-based framework to analyze internet passive measurements data
Hu et al. Piper: A unified machine learning pipeline for internet-scale traffic analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant