CN116016298B - 一种基于隐半马尔可夫模型的5g通信协议异常检测方法 - Google Patents
一种基于隐半马尔可夫模型的5g通信协议异常检测方法 Download PDFInfo
- Publication number
- CN116016298B CN116016298B CN202310006725.0A CN202310006725A CN116016298B CN 116016298 B CN116016298 B CN 116016298B CN 202310006725 A CN202310006725 A CN 202310006725A CN 116016298 B CN116016298 B CN 116016298B
- Authority
- CN
- China
- Prior art keywords
- probability
- hidden
- state
- time
- hidden state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 230000006854 communication Effects 0.000 title claims abstract description 46
- 238000004891 communication Methods 0.000 title claims abstract description 45
- 230000011664 signaling Effects 0.000 claims abstract description 82
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 230000002159 abnormal effect Effects 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 35
- 230000007704 transition Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 230000006399 behavior Effects 0.000 claims description 14
- 230000003993 interaction Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 230000005251 gamma ray Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 5
- 238000004088 simulation Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 4
- 206010000117 Abnormal behaviour Diseases 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- ZACPHCCJSKOSJN-UHFFFAOYSA-M 1-[10-(4-amino-2-methylquinolin-1-ium-1-yl)decyl]-2-methylquinolin-1-ium-4-amine 1-hexadecylpyridin-1-ium triacetate Chemical compound CC([O-])=O.CC([O-])=O.CC([O-])=O.CCCCCCCCCCCCCCCC[n+]1ccccc1.Cc1cc(N)c2ccccc2[n+]1CCCCCCCCCC[n+]1c(C)cc(N)c2ccccc12 ZACPHCCJSKOSJN-UHFFFAOYSA-M 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明属于5G网络安全技术领域，涉及一种基于隐半马尔可夫模型的5G通信协议异常检测方法；所述方法包括对5G网络通信协议进行分析，将网元节点的隐藏状态映射为隐状态集合，将实际收发的信令数据映射为可观测集合；根据隐状态集合和可观测集合，构建出隐半马尔可夫模型的四元组参数；使用滑动窗口将训练信令序列划分为等长的训练子序列进行迭代训练，使用前后向算法学习所述隐半马尔可夫模型的四元组参数；使用滑动窗口将待检测信令序列划分为等长的待测子序列，基于学习到的四元组参数使用前向算法计算各个待测子序列的概率值；当待测子序列的概率值低于检测阈值时，判定所述待测子序列为异常。本发明实现从原始数据中自主的提取特征。
Description
技术领域
本发明属于移动通信技术中5G网络安全技术领域，涉及一种基于隐半马尔可夫模型的5G通信协议异常检测方法。
背景技术
5G网络通信协议通过定义网元节点间的信令交互完成注册、去注册、配置更新等相关的业务流程，其范围涵盖了终端、接入网、核心网等多层网络体系。目前，针对网络流量的异常检测方法已经展开大量研究，其中机器学习方法具有计算成本低、不依赖于先验知识、可解释性强等优势，大量应用于网络流量异常检测中。
有学者提出了一种基于CUSUM(Cumulative Sum Control Chart,累积和)算法的5G网络自主安全系统ASec5G，检测到单位时间内流量吞吐量超出预设均值时，CUSUM开始累积，通过对比累计值和阈值实现对网络进行异常检测，但该方法由于使用的特征比较单一，面对复杂的或未知的异常行为会导致检测性能不佳。为利用网络数据流中包含的多维特征，有学者提出了一种多维特征融合和叠加集成机制MFFSEM，根据基本特征之间的支持和互补关系，构建全面的综合特征集，在多个综合特征数据集上进行叠加集成学习，实现多维全局的网络异常检测。有学者提出一种七维流分析的异常检测系统，其核心是通过改进的霍尔特-温特斯数字签名算法对网络流量的七个维度特征进行表征，实现不同异常的检测并产生警报。然而，特征过多可能会导致部分特征集不合理或“维数灾难”等问题，为选择出有效的特征，有学者提出了一种混合特征选择算法，通过计算候选特征集在攻击前后熵值的变化，从而选择出最适合于检测模型的选定特征集，并使用一种半监督K-Means算法来检测攻击。有学者提出了一种基于聚类和排序的特征选择方案，首先计算特征向量之间的距离并选择具有代表性的特征向量，然后根据特征的信息增益率进一步精简特征的数量，最后使用基于决策树的分类器生成特征子集，提高了基于特征的网络异常检测的准确率。有学者提出了一种新的雾计算环境下的入侵检测模型，通过遗传算法迭代搜索特征子集并进行评估，然后使用朴素贝叶斯分类算法对简化的数据集进行入侵检测。上述方法虽然可以提取并选择合适的特征，但其特征集仍限制于网络IP、端口、网络吞吐量等方面，然而5G网络通信协议流程涉及多个网元和不同网络层，其特征复杂多样，因此面向协议流程中未知的或隐蔽性的异常行为检测，可能需要根据网络环境、协议类型等因素重新设计并选择特征集，导致传统机器学习方法泛化能力弱、特征提取困难。
由于5G网络通信协议是由网元节点与网元节点收发的信令共同组成，具有高度规则化和标准化的特点，因此可以对网元的状态转换过程以及信令交互行为进行建模，实现从原始数据中自主地提取特征。但5G网络通信协议中并未明确规定网元节点的实时状态与所发信令的关系，针对这一问题，有学者提出了一种基于隐马尔可夫模型(Hidden MarkovModel,HMM)的协议异常检测方法，利用HMM通过可观测信令数据描述不可被观测的网元节点状态，实现对网元未知的状态转换过程表征。类似的，有学者提出了一种基于自编码器和HMM的时间序列异常检测方法，利用自编码器和K-means聚类处理实现时间序列样本集的符号化，通过正常时间序列的符号序列集生成HMM模型，实现时间序列的异常检测。基于以上分析，虽然HMM可以建模未知的网元节点行为和状态，但局限性在于隐藏状态的持续时间仅以几何分布的，因此缺乏表示各隐藏状态过渡行为的能力，不能精确的描述5G网元节点的状态和行为特征。
发明内容
由于5G网络通信协议的多样性、网络环境的复杂性，针对未知的或隐蔽的5G网络通信协议异常检测需要重新设计特征集，导致传统机器学习方法泛化能力弱、特征提取困难、检测性能不佳等问题。并且5G网络通信协议中并未明确规定网元节点的实时状态与所发信令的关系，导致现有技术难以根据网元节点的状态转换精确描述信令交互流程的行为特征。
为解决上述技术中存在的问题，本发明采取如下技术方案：一种基于隐半马尔可夫模型的5G通信协议异常检测方法，所述方法包括：
通过对5G网络通信协议进行分析，将网元节点的隐藏状态映射为隐状态集合，将实际收发的信令数据映射为可观测集合；
根据所述隐状态集合和所述可观测集合，构建出隐半马尔可夫模型的四元组参数；
使用滑动窗口将训练信令序列划分为等长的训练子序列进行迭代训练，使用前后向算法学习所述隐半马尔可夫模型的四元组参数；
使用滑动窗口将待检测信令序列划分为等长的待测子序列，基于学习到的四元组参数使用前向算法计算各个待测子序列的概率值；
当待测子序列的概率值低于检测阈值时，判定所述待测子序列为异常。
本发明本发明本发明的有益效果：
本发明通过引入隐半马尔可夫模型，使用各状态概率描述了网元节点以及所收发信令的正常行为，实现从原始数据中自主的提取特征。本发明提供的建模方法允许每个隐状态具有一个可变的时长，由于5G通信协议中网元节点间信令流程的时间和长度是已定义的，因此基于动态的统计分析对标准化的信令流程能够更精确的表征。本发明提供了一种5G网络通信以及测试环境，使用本发明的实验环境对三种实验场景下的异常检测进行详细分析，实验结果表明，本发明提出的异常检测方法可以提升5％-10％的检测性能。
附图说明
图1为本发明实施例的基于隐半马尔可夫模型的5G网络通信协议异常检测模型架构示意图；
图2为本发明实施例的5G网络通信协议交互时序示意图；
图3为本发明实施例的隐半马尔可夫模型结构图；
图4为本发明实施例的不同信令子序列的概率对数分布示意图；
图5为本发明实施例的DoS检测性能曲线仿真图；
图6为本发明实施例的Intercept检测性能曲线仿真图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为描述5G网元节点的实时状态与所发信令的关系，从而对由5G网元以及信令数据组成的5G网络通信协议流程进行建模，本发明提出了基于隐半马尔可夫模型的5G网络通信协议异常检测方法，其整体架构如图1所示。首先，通过对5G网络通信协议进行分析，将网元节点的隐藏状态映射为隐状态集合，将实际收发的信令数据映射为可观测集合；根据所述隐状态集合和所述可观测集合，构建出隐半马尔可夫模型的四元组参数；使用滑动窗口将训练信令序列划分为等长的训练子序列进行迭代训练，使用前后向算法学习所述隐半马尔可夫模型的四元组参数；实现正常5G网络通信协议流程的特征提取和表征，可以得到5G网络通信协议正常概率模型λnorm；使用滑动窗口将待检测信令序列划分为等长的待测子序列，基于学习到的四元组参数使用前向算法计算各个待测子序列的概率值；通过对比预设阈值从而判断该子序列是否存在异常行为，当待测子序列的概率值低于检测阈值时，判定所述待测子序列为异常。可观测集合
如图2所示，5G网络通信协议以时序图的形式展示了网络中各网元节点对象及其生命线、网元节点对象之间的信令消息及其顺序，从而完整描述网元节点间的交互关系与交互流程，因此，想要精确的检测流程中发生的异常情况，需要同时建立网元节点和对应收发信令的多维度模型，然而5G网络通信协议中并未明确规定网元节点的实时状态与所发信令的关系，为描述网元节点的行为特征，通过分析5G网络通信协议，根据网元在不同时刻发送或接收的信令将网元节点分解为多种状态，例如网元节点发送初始注册信令和移动性注册信令时表示为注册状态，网元节点发送注册接受信令时表示为注册完成状态等。其中网元节点的所有状态称为隐状态集合，网元可发送或接收的信令称为可观测集合。
在本发明实施例中，隐半马尔可夫模型的结构如图3所示，建模了由隐藏状态i和可观测状态o组成的两个时间随机过程，其底层隐状态组成的随机过程是一个半马尔可夫链，每个隐状态的驻留时间由d进行描述，可观测状态组成的随机过程是一个依赖于隐藏状态的随机序列。
本发明将5G网元的隐藏状态映射为隐半马尔可夫模型的隐状态集合，将网元的可观测状态映射隐半马尔可夫模型的观测态空间V＝{v1,v2,...,vK}，根据定义，一个隐半马尔可夫模型的通常表示为四元组λ＝(A,B,P,Π)，其网元节点与隐半马尔可夫模型参数的映射如表格1所示。假设观测时间为T，由隐状态组成的隐状态序列表示为I＝{i1,i2,...,iT}it∈S，由观测态组成的观测序列表示为O＝{o1,o2,...,oT}ot∈V。当时刻t的隐状态为it＝sm，时刻t+1的隐状态为it+1＝sn，则从t时刻到t+1时刻的隐状态转移概率amn表示为：
amn＝P[it+1＝sn|it＝sm],sm≠sn (1)
amn＝0,sm＝sn (2)
其中∑n∈Mamn＝1，由amn可以组成隐状态转移概率矩阵A＝[amn]M*M。假设时刻的隐状态为it＝sm，对应的观测状态为ot＝vk，则t时刻观测状态vk由隐状态sm生成的概率bm(k)表示为：
bm(k)＝P[ot＝vk|it＝sm] (3)
其中∑k∈Kbm(k)＝1，由bm(k)可以组成观测状态的生成概率矩阵B＝[bm(k)]M*K。假设时刻t的隐状态为it＝sm，时刻t+1的隐状态为it+1＝sm，时刻t+d的隐状态为it+d＝sn，则称隐状态sm的持续时间或状态停留时间为d，当所有隐状态的持续时间的最大值为D时，其隐状态持续时间概率pm(d)表示为：
pm(d)＝P[it+d-1＝sm|it＝sm] (4)
其中由pm(d)可以组成隐状态的持续时间矩阵P＝[pm(d)]M*D。此外，还需要确定序列中时刻t＝1时隐状态的初始概率πi：
πm＝P[i1＝sm] (5)
其中∑πm＝1，由πm可以组成隐状态的初始状态概率矩阵Π＝[πm]M*1。
表1对应5G网络通信协议的隐半马尔可夫模型参数定义
本发明实施例中，将5G网络通信协议的隐半马尔可夫模型表示为λ＝(A,B,P,Π)，根据一组正常观测序列，可以学习并确定该模型中各概率参数的具体值，这个过程称为参数学习过程。假设通过T时间采集到的隐状态序列为I＝{i1,i2,...,iT}，可观测序列为O＝{o1,o2,...,oT}，为计算观测序列出现的概率，使用了前向后向方法，设αt(m,d)为前向概率，βt(m,d)表示为后向概率，其定义为：
当t＝1，根据初始条件前向概率表示为：
α1(m,d)＝πmbm(o1)pm(d) (8)
其中，α1(m,d)表示在初始时刻隐状态it＝sm且持续时间τ＝d的前向概率，πm表示初始状态概率，bm(o1)表示状态sm下可观测序列o1的发射概率，pm(d)表示隐状态sm驻留时间概率。
当t>1，表示观测序列为{o1,o2,...,ot}，并且在t时刻隐状态it＝sm且持续时间τ＝d，因此可以推导出递推公式：
αt(m,d)＝αt-1(m,d+1)bm(ot)+(∑n≠mαt-1(n,1)amn)·bm(ot)pm(d) (9)
其中，αt(m,d)表示t时刻隐状态it＝sm且持续时间τ＝d的前向概率，αt-1(m,d+1)表示t-1时刻隐状态it-1＝sm且持续时间τ＝d+1的前向概率，bm(ot)表示状态sm下可观测序列ot的发射概率，αt-1(n,1)表示在t-1时刻隐状态it-1＝sn且持续时间τ＝1的前向概率，amn表示当t时刻隐状态为it＝sm，t+1时刻隐状态为it+1＝sn的隐状态转移概率。
根据后向算法，其后向概率与前向概率相反的，其中表示观测序列为{ot+1,ot+2,...,oT}，并且在t+1时刻隐状态it＝sm且持续时间τ＝d，因此可以推导出递推公式：
当d>1,t<T时，后向概率表示为：
βt(m,d)＝bm(ot+1)βt+1(m,d-1) (10)
当d＝1,t<T时，后向概率表示为：
βt(m,1)＝∑n≠mamn bn(ot+1)·(∑d≥1pn(d)βt+1(n,d)) (11)
当d≥1,t＝T时，后向概率表示为：
βT(m,d)＝1 (12)
其中，βt(m,d)表示在t时刻隐状态it＝sm且持续时间τ＝d的反向概率，bm(ot+1)表示状态sm下可观测序列ot+1的发射概率，βt+1(m,d-1)表示在t+1时刻隐状态it+1＝sm且持续时间τ＝d-1的反向概率，βt(m,1)表示在t时刻隐状态it＝sm且持续时间τ＝1的反向概率，bn(ot+1)表示状态sn下可观测序列ot+1的发射概率，pn(d)表示隐状态sn驻留时间概率，βt+1(n,d)表示在t+1时刻隐状态it+1＝sn且持续时间τ＝d的反向概率，βT(m,d)表示在T时刻隐状态iT＝sm且持续时间τ＝d的反向概率。
通过前向后向概率，可以得到以下三种类型的联合概率分布，分别为隐状态从sm转移到sn的联合概率ξt(m,n)；隐状态sn(n≠m)转移到隐状态sm且持续时间为d的联合概率ηt(m,n)；t时刻的隐状态it＝sm的联合概率γt(m)，定义为：
分别对式(13)-(15)进行处理，可以得到以下计算公式：
其中，ξt(m,n)表示t时刻隐状态从sm转移到sn的联合概率，αt-1(m,1)表示在t-1时刻隐状态it-1＝sm且持续时间τ＝1的前向概率，amn表示当t时刻隐状态为it＝sm，t+1时刻隐状态为it+1＝sn的隐状态转移概率，bn(ot)表示状态sn下可观测序列ot的发射概率，βt(n,d)表示在t时刻隐状态it＝sn且持续时间τ＝d的反向概率；ηt(m,d)表示t时刻的隐状态sn(n≠m)转移到隐状态sm且持续时间为d的联合概率，αt-1(n,1)表示在t-1时刻隐状态it-1＝sn且持续时间τ＝1的前向概率，bm(ot)表示状态sm下可观测序列ot的发射概率，pm(d)表示隐状态sm驻留时间概率，βt(m,d)表示在t时刻隐状态it＝sm且持续时间τ＝d的反向概率；γt(m)表示t时刻的隐状态it＝sm的联合概率；T表示观测时间，αt(m,d)表示t时刻隐状态it＝sm且持续时间τ＝d的前向概率。
通过以上计算的前向后向变量以及三种联合概率分布，本发明可以推导出参数学习的公式：
其中，πm网元节点的初始状态概率，γ1(m)表示初始时刻的隐状态sm的联合概率，γ1(n)表示初始时刻的隐状态sn的联合概率，amn表示网元节点的隐状态概率转移，ξt(m,n)表示隐状态从sm转移到sn的联合概率，vm(k)表示可观测状态发射概率，γt(m)表示t时刻的隐状态sm的联合概率，当可观测序列ot＝vk时δ(ot-vk)＝1，当可观测序列ot≠vk时δ(ot-vk)＝0，pm(d)表示隐状态sm下驻留时间概率，ηt(m,d)表示t时刻的隐状态sn(n≠m)转移到隐状态sm且持续时间为d的联合概率，ξt(m,d)表示t时刻的隐状态从sm转移到sn的联合概率；T表示观测时间。
由于5G网络通信协议流程涉及多个网元，若采集所有类型网元的信令进行分析虽然更为全面，但无疑也是复杂的，采集和处理所有网元的数据需要耗费大量时间，导致异常检测的时效性差。因此为确保5G通信系统中异常检测的时效性，本发明以单个网元为单位，将该类型网元收发的信令作为观测序列，使用滑动窗口将观测序列划分为多个子序列，将正常通信过程中信令子序列概率的最小值设置为检测阈值，根据前向算法计算子序列的概率值进行异常判定。
由于观测序列的概率计算与观测序列长度有着重要的关系，因此文本使用滑动窗口将观测序列Oobs划分为大小为w的子序列，且w应大于最大驻留时间，保证每个子序列中包含完成的特征信息。假设一个观测序列的长度为T，随着滑动窗口的推进，观测序列分割为T-w+1个子序列，
在本发明实施例中，隐半马尔可夫模型建模了5G网络根据通信协议正常运行过程中网元节点的状态以及发出信令序列的行为基线，偏离正常基线的行为都认为是异常的，实现5G网络中各种未知或隐蔽性的异常行为检测。因此本发明将正常信令子序列概率的最小值设置为检测阈值，当待检测信令子序列概率低于检测阈值时，判定为异常。
在本发明实施例中，使用滑动窗口将观测序列划分为多个子序列，依次计算滑动窗口所经过的子序列的概率值logP[Oobs|λnorm],0≤n≤T-w+1。由于计算该概率值有巨大的时间复杂度，因此本发明使用前文提出的前向算法，其计算公式为：
logP[Oobs|λnorm]＝log∑m,dαw(m,d) (23)
将式(8)和式(9)带入公式(23)，可得出待测子序列的概率值的表达式为：
其中，表示滑动窗口大小为w的子序列/>概率对数值，αw-1(m,d+1)表示在隐状态iw-1＝sm且持续时间τ＝d+1的前向概率，bm(ow)表示状态sm下可观测序列ow的发射概率，αw-1(n,1)表示在隐状态iw-1＝sn且持续时间τ＝1的前向概率，pm(d)表示隐状态sm驻留时间概率。
为验证本发明提出的异常检测方法能够检测5G网络通信协议中未知的或隐蔽的异常行为，本发明本实施例使用模拟软件和测试软件搭建了5G网络通信以及测试环境，分析了三种实验场景并设计案例，使用本发明本实施例的实验环境生成对应的实验数据集。
实验环境主要使用了模拟UE(User Equipment,用户设备)、模拟RAN(RadioAccess Network,无线接入网)、5GC(5G Core Network,5G核心网)、Postman信令测试软件、Wireshark抓包软件、Iperf网络测试软件、两台虚拟机等，虚拟机内核版本要求为5.0.0-23或大于5.4.0。其中模拟UE和模拟RAN使用UERANSIM软件部署在虚拟机1中，UERANSIM可以通过配置文件设置UE数量、imsi号、鉴权参数和接口配置等。5GC使用Free5gc部署在虚拟机2中，Free5gc使用基于服务的架构，实现了包括AMF、SMF、UDM、UDR、NSSF、PCF、AUSF、NRF、UPF等网元功能，各网元可以通过配置文件设置接口信息，用于网元间以及模拟RAN的业务请求和交互。至此实现了5G系统的模拟环境部署，该模拟网络环境的运行原理与真实5G网络环境相同，可以通过Wireshark抓取模拟UE和模拟RAN之间、模拟RAN和5GC之间以及5GC内部网元之间的信令交互流程。
根据5G网络通信协议中存在的攻击行为，本发明使用5G系统模拟环境生成了三种实验场景的数据集用于验证本发明的异常检测模型，包括Normal场景、Intercept场景以及DoS场景。
Normal场景中无攻击行为，模拟UE正常进行5G注册流程以及5G去注册流程，因此Normal信令数据符合5G网络通信协议标准。Intercept场景是通过设置恶意基站进行中间人信令拦截，导致模拟UE无法完成5G注册流程，并根据协议规定再次尝试接入5G网络，其中Intercept信令数据不符合5G网络通信协议标准。DoS攻击场景是模拟UE发起的异常注册流程，通过控制模拟UE短时间内发起大量注册信令，使模拟RAN和5GC的计算资源、内存资源等被持续占用，导致其他模拟UE无法正常鉴权和注册，其中DoS信令数据是符合5G网络通信协议标准的，但区别于Normal信令数据。
在本发明实施例中，本实施例本发明介绍了基于隐半马尔可夫模型的5G网络通信协议异常检测方案仿真结果。同时，本发明还实现了基于CUSUM以及HMM的异常检测算法进行比较，分析并解释了各异常检测算法的性能差异。
异常检测模型常用的性能指标一般使用精确率(Precision)、召回率(Recall)、调和平均数(F1 score)表示，各指标由以下统计数据决定：
TP(True Positive)：模型将检测样本判断为正常，实际检测样本也为正常。
TN(True Negative)：模型将检测样本判断为异常，实际检测样本也为异常。
FP(False Positive)：模型将检测样本判断为正常，实际检测样本为异常。
FN(False Negative)：模型将检测样本判断为异常，实际检测样本为正常。
Precision称为精确率，定义为模型判断为正常的检测样本中，实际正常的样本数量；Recall：称为召回率，定义为实际正常的检测样本中模型判断为正常的样本数量；F1score称为调和平均数，作为综合的性能指标。各指标定义为：
为了通过仿真直观体现本发明提出的异常检测方法的可行性，如图4所示，表示Normal信令序列、DoS信令序列以及Intercept信令序列随滑动窗口移动得到的子信令序列的概率对数分布，可以看到本发明提出的方法可以明显区分正常数据和异常数据，实现未知的或隐蔽的异常行为检测。对于不同的子信令序列，相应的观测概率不同，这是因为UE的隐状态转移概率、驻留时间以及在隐状态下各信令的发射概率不同。与Normal场景相比，DoS和Intercept场景的子信令序列概率值较小，这是因为DoS发起了大量注册信令，而Intercept拦截了注册流程中的关键信令，导致该场景下信令流程与正常不同。其中Intercept的子信令序列概率值存在远低于Normal和DoS的子信令序列概率值，是由于该子序列不符合5G网络通信协议标准，包含了未出现过的信令序列导致概率值非常小。可以明显的观察到本发明的检测模型能够有效区分正常数据和异常数据，即能够得到较好的检测阈值。由于模拟网络中因为大量UE并行接入及网络原因等导致信令重发、信令接收错误等情况，导致图中Normal场景下极小部分子信令序列概率值低于DoS和Intercept场景。
为验证本发明提出的基于隐半马尔可夫模型异常检测方法的性能，本发明还实现了基于HMM异常检测算法以及CUSUM的异常检测算法，与本发明提出的方案进行了比较。其中HMM是用来描述一个含有隐含未知参数的马尔可夫过程，与隐半马尔可夫模型类似，但没有考虑隐状态的驻留时间。CUSUM是一种统计方法，利用观测变量的累积和来描述系统的差异性，具体的说是通过计算观测变量的均值，每次获得观测变量后与均值求差并累积和，当累积和的值大于设定的阈值时，即说明可能出现了异常。
如图5所示，对比了本发明提出的异常检测模型和HMM、CUSUM的异常检测模型面向DoS攻击时Recall-Precision的性能曲线图。总体来看，随着召回率增加，精确率逐渐减小，这是因为随着阈值变化，实际为正常的数据集中模型判断为正常的样本数量逐渐增加，而实际为异常的数据集被模型判断为正常的样本数量也会增加。从表2中可以看出，隐半马尔可夫模型和CUSUM对DoS攻击的检测性能都较好，但HMM的召回率较低，原因是在正常情况下模拟UE也会由于网络环境等因素重发注册信令，因此当DoS场景下发送大量注册信令时，该攻击序列的概率计算值会较大，所以HMM会发生误判。而隐半马尔可夫模型可以描述隐状态驻留时间，当DoS场景下大量发起的注册信令数量大于正常值，即注册状态驻留时间大于正常的驻留时间时，都会判定为异常，因此隐半马尔可夫模型对网元状态以及信令交互行为能够更精确的表征。
表2DoS检测性能对比
如图6所示，是隐半马尔可夫模型、HMM以及CUSUM的异常检测模型面向Intercept攻击时的Recall-Precision的性能曲线图，结合表3可以看到CUSUM对于Intercept攻击的精确率和召回率都较低，这是由于这该攻击只会作用于少量数据包，当攻击发生时，CUSUM每次累积的误差与正常数据的误差非常接近，并且随着单位时间内采集的流量包数量增加，CUSUM对这该类型的攻击检测能力会更低。而隐半马尔可夫模型和HMM对于Intercept攻击的检测性能都较好，这是由于隐半马尔可夫模型和HMM能够通过建立正常网元状态和信令交互的概率模型实现从数据中自主的特征，注册接受信令被拦截会导致该信令序列为不符合5G网络通信协议的标准流程，所以发生攻击时该序列的概率值非常低，因此能够有效检测出异常。
表3Intercept检测性能对比
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (4)
1.一种基于隐半马尔可夫模型的5G通信协议异常检测方法，其特征在于，所述方法包括：
通过对5G网络通信协议进行分析，将网元节点的隐藏状态映射为隐状态集合，将实际收发的信令数据映射为可观测集合；
根据所述隐状态集合和所述可观测集合，构建出隐半马尔可夫模型的四元组参数；所述四元组参数包括使用隐状态概率转移amn描述网元节点的状态转换行为，使用隐状态驻留时间概率pm(d)描述网元节点动态持续时间，使用初始状态概率πi描述任意初始时刻网元节点状态概率，使用可观测状态发射概率bm(k)建立网元节点状态与所收发信令的关系，构建出隐半马尔可夫模型四元组λ＝(A,B,P,Π)；A表示隐状态转移概率矩阵，B表示观测状态的生成概率矩阵，P表示隐状态的持续时间矩阵，Π表示隐状态的初始状态概率矩阵；
使用滑动窗口将训练信令序列划分为等长的训练子序列进行迭代训练，使用前后向算法学习所述隐半马尔可夫模型的四元组参数；采取网元节点正常交互过程中产生的信令序列作为训练信令序列，使用滑动窗口将训练信令序列划分为等长的训练子序列，使用前后向算法分别计算得到训练子序列出现的前向概率和后向概率，使用前向概率和后向概率得到三种联合概率分布，根据三种联合概率迭代训练隐半马尔可夫模型四元组中的参数；前向概率和后向概率分别表示为：
当t＝1，前向概率表示为：
α1(m,d)＝πmbm(o1)pm(d)
当t>1，前向概率表示为：
当d>1,t<T时，后向概率表示为：
βt(m,d)＝bm(ot+1)βt+1(m,d-1)
当d＝1,t<T时，后向概率表示为：
当d≥1,t＝T时，后向概率表示为：
βT(m,d)＝1
其中，T表示观测时间；α1(m,d)表示在初始时刻隐状态it＝sm且持续时间τ＝d的前向概率，πm表示初始状态概率，bm(o1)表示状态sm下可观测序列o1的发射概率，pm(d)表示隐状态sm驻留时间概率；αt(m,d)表示t时刻隐状态it＝sm且持续时间τ＝d的前向概率，αt-1(m,d+1)表示t-1时刻隐状态it-1＝sm且持续时间τ＝d+1的前向概率，bm(ot)表示状态sm下可观测序列ot的发射概率，αt-1(n,1)表示在t-1时刻隐状态it-1＝sn且持续时间τ＝1的前向概率，amn表示当t时刻隐状态为it＝sm，t+1时刻隐状态为it+1＝sn的隐状态转移概率，βt(m,d)表示在t时刻隐状态it＝sm且持续时间τ＝d的反向概率，bm(ot+1)表示状态sm下可观测序列ot+1的发射概率，βt+1(m,d-1)表示在t+1时刻隐状态it+1＝sm且持续时间τ＝d-1的反向概率，βt(m,1)表示在t时刻隐状态it＝sm且持续时间τ＝1的反向概率，bn(ot+1)表示状态sn下可观测序列ot+1的发射概率，pn(d)表示隐状态sn驻留时间概率，βt+1(n,d)表示在t+1时刻隐状态it+1＝sn且持续时间τ＝d的反向概率，βT(m,d)表示在T时刻隐状态iT＝sm且持续时间τ＝d的反向概率；
三种联合概率分别表示为：
其中，ξt(m,n)表示t时刻隐状态从sm转移到sn的联合概率，αt-1(m,1)表示在t-1时刻隐状态it-1＝sm且持续时间τ＝1的前向概率，bn(ot)表示状态sn下可观测序列ot的发射概率，βt(n,d)表示在t时刻隐状态it＝sn且持续时间τ＝d的反向概率；ηt(m,d)表示t时刻的隐状态sn(n≠m)转移到隐状态sm且持续时间为d的联合概率；γt(m)表示t时刻的隐状态it＝sm的联合概率；
使用滑动窗口将待检测信令序列划分为等长的待测子序列，基于学习到的四元组参数使用前向算法计算各个待测子序列的概率值；也即是使用滑动窗口将待测信令序列划分为等长的待测子序列，带入学习到的四元组参数，根据前向算法依次计算滑动窗口所经过的待测子序列的概率值；待测子序列的概率值的表达式为：
其中，表示滑动窗口大小为w的子序列/>概率对数值，αw-1(m,d+1)表示在隐状态iw-1＝sm且持续时间τ＝d+1的前向概率，bm(ow)表示状态sm下可观测序列ow的发射概率，αw-1(n,1)表示在隐状态iw-1＝sn且持续时间τ＝1的前向概率；
当待测子序列的概率值低于检测阈值时，判定所述待测子序列为异常。
2.根据权利要求1所述的一种基于隐半马尔可夫模型的5G通信协议异常检测方法，其特征在于，所述通过对5G网络通信协议进行分析，将网元节点的隐藏状态映射为隐状态集合，将实际收发的信令数据映射为可观测集合包括根据网元在不同时刻发送或接收的信令将网元节点分解为多种状态，其中网元节点的所有状态称为隐状态集合，网元可发送或接收的信令称为可观测集合。
3.根据权利要求2所述的一种基于隐半马尔可夫模型的5G通信协议异常检测方法，其特征在于，所述隐状态集合包括网元节点发送初始注册信令和移动性注册信令时表示为注册状态，网元节点发送注册接受信令时表示为注册完成状态。
4.根据权利要求1所述的一种基于隐半马尔可夫模型的5G通信协议异常检测方法，其特征在于，隐半马尔可夫模型四元组中的参数公式分别表示为：
其中，γ1(m)表示初始时刻的隐状态sm的联合概率，γ1(n)表示初始时刻的隐状态sn的联合概率，γt(m)表示t时刻的隐状态sm的联合概率，当可观测序列ot＝vk时δ(ot-vk)＝1，当可观测序列ot≠vk时δ(ot-vk)＝0，ξt(m,d)表示t时刻的隐状态从sm转移到sn的联合概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310006725.0A CN116016298B (zh) | 2023-01-04 | 2023-01-04 | 一种基于隐半马尔可夫模型的5g通信协议异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310006725.0A CN116016298B (zh) | 2023-01-04 | 2023-01-04 | 一种基于隐半马尔可夫模型的5g通信协议异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116016298A CN116016298A (zh) | 2023-04-25 |
| CN116016298B true CN116016298B (zh) | 2024-04-09 |
Family
ID=86020751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310006725.0A Active CN116016298B (zh) | 2023-01-04 | 2023-01-04 | 一种基于隐半马尔可夫模型的5g通信协议异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116016298B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537209A (zh) * | 2014-12-09 | 2015-04-22 | 上海交通大学 | 基于隐马尔科夫模型的车辆行驶道路类型的判断方法 |
| CN105511944A (zh) * | 2016-01-07 | 2016-04-20 | 上海海事大学 | 一种云系统内部虚拟机的异常检测方法 |
| CN106599920A (zh) * | 2016-12-14 | 2017-04-26 | 中国航空工业集团公司上海航空测控技术研究所 | 一种基于耦合隐半马尔可夫模型的航空轴承故障诊断方法 |
| CN107438052A (zh) * | 2016-05-26 | 2017-12-05 | 中国科学院沈阳自动化研究所 | 一种面向未知工业通信协议规约的异常行为检测方法 |
| CN109474897A (zh) * | 2019-01-10 | 2019-03-15 | 厦门大学 | 基于隐马尔可夫模型的车联网安全消息单跳协作广播方法 |
| CN110460458A (zh) * | 2019-04-15 | 2019-11-15 | 清华大学深圳研究生院 | 基于多阶马尔科夫链的流量异常检测方法 |
| CN110912908A (zh) * | 2019-11-28 | 2020-03-24 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 网络协议异常检测方法、装置、计算机设备和存储介质 |
| CN111872934A (zh) * | 2020-06-19 | 2020-11-03 | 南京邮电大学 | 一种基于隐半马尔可夫模型的机械臂控制方法及系统 |
| CN112132195A (zh) * | 2020-09-14 | 2020-12-25 | 江西山水光电科技股份有限公司 | 一种利用马尔科夫模型分析与预测机房故障的方法 |
| CN112416732A (zh) * | 2021-01-20 | 2021-02-26 | 国能信控互联技术有限公司 | 一种基于隐马尔可夫模型的数据采集运行异常检测方法 |
| CN115426654A (zh) * | 2022-08-30 | 2022-12-02 | 中国科学院计算技术研究所 | 一种构建面向5g通信系统的网元异常检测模型的方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10841322B2 (en) * | 2018-01-18 | 2020-11-17 | General Electric Company | Decision system and method for separating faults from attacks |
| US11444923B2 (en) * | 2020-07-29 | 2022-09-13 | International Business Machines Corporation | Runtime detection of database protocol metadata anomalies in database client connections |
-
2023
- 2023-01-04 CN CN202310006725.0A patent/CN116016298B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537209A (zh) * | 2014-12-09 | 2015-04-22 | 上海交通大学 | 基于隐马尔科夫模型的车辆行驶道路类型的判断方法 |
| CN105511944A (zh) * | 2016-01-07 | 2016-04-20 | 上海海事大学 | 一种云系统内部虚拟机的异常检测方法 |
| CN107438052A (zh) * | 2016-05-26 | 2017-12-05 | 中国科学院沈阳自动化研究所 | 一种面向未知工业通信协议规约的异常行为检测方法 |
| CN106599920A (zh) * | 2016-12-14 | 2017-04-26 | 中国航空工业集团公司上海航空测控技术研究所 | 一种基于耦合隐半马尔可夫模型的航空轴承故障诊断方法 |
| CN109474897A (zh) * | 2019-01-10 | 2019-03-15 | 厦门大学 | 基于隐马尔可夫模型的车联网安全消息单跳协作广播方法 |
| CN110460458A (zh) * | 2019-04-15 | 2019-11-15 | 清华大学深圳研究生院 | 基于多阶马尔科夫链的流量异常检测方法 |
| CN110912908A (zh) * | 2019-11-28 | 2020-03-24 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 网络协议异常检测方法、装置、计算机设备和存储介质 |
| CN111872934A (zh) * | 2020-06-19 | 2020-11-03 | 南京邮电大学 | 一种基于隐半马尔可夫模型的机械臂控制方法及系统 |
| CN112132195A (zh) * | 2020-09-14 | 2020-12-25 | 江西山水光电科技股份有限公司 | 一种利用马尔科夫模型分析与预测机房故障的方法 |
| CN112416732A (zh) * | 2021-01-20 | 2021-02-26 | 国能信控互联技术有限公司 | 一种基于隐马尔可夫模型的数据采集运行异常检测方法 |
| CN115426654A (zh) * | 2022-08-30 | 2022-12-02 | 中国科学院计算技术研究所 | 一种构建面向5g通信系统的网元异常检测模型的方法 |
Non-Patent Citations (7)
| Title |
|---|
| A Hyper-Exponential Factor-Based Semi-Markov Prediction Mechanism for Selfish Rendezvous Nodes in MANETs;Sengathir Janakiraman;Bipin Bihari Jayasingh;Wireless Personal Communications;20191231;第108卷(第3期);全文 * |
| Yasami, Y. ; Farahmand, M. ; Zargari, V. ; ICSNC.An ARP-based Anomaly Detection Algorithm Using Hidden Markov Model in Enterprise Networks.万方外文会议文献数据库.2007,全文. * |
| 图书资源共享下用户浏览行为差异检测仿真;毛靖;;计算机仿真;20181115(第11期);全文 * |
| 基于条件随机场的异常协议行为检测方法;刘帅;杨英杰;常德显;;计算机应用研究;20161231(第06期);全文 * |
| 大规模组网的集中式基站休眠算法;龙恳;万溢;刘畅;田霖;;高技术通讯;20160315(第03期);全文 * |
| 改进的马尔科夫模型的异常节点检测算法;黄小龙;蔡艳;屈迟文;;计算机工程与设计;20180616(第06期);全文 * |
| 无线Mesh网络基于隐半马尔可夫模型的跨层结合异常检测方法;王涛;吴晓燕;程良伦;;计算机科学;20120815(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116016298A (zh) | 2023-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108965001B (zh) | 一种车辆报文数据模型的评估方法及装置 | |
| CN110896381A (zh) | 一种基于深度神经网络的流量分类方法、系统及电子设备 | |
| Ortet Lopes et al. | Towards effective detection of recent DDoS attacks: A deep learning approach | |
| Stan et al. | Intrusion detection system for the MIL-STD-1553 communication bus | |
| CN108282460B (zh) | 一种面向网络安全事件的证据链生成方法及装置 | |
| CN111598179B (zh) | 电力监控系统用户异常行为分析方法、存储介质和设备 | |
| He et al. | Deep-feature-based autoencoder network for few-shot malicious traffic detection | |
| CN113556319B (zh) | 物联网下基于长短期记忆自编码分类器的入侵检测方法 | |
| CN112910859A (zh) | 基于c5.0决策树和时序分析的物联网设备监测预警方法 | |
| CN111431819A (zh) | 一种基于序列化的协议流特征的网络流量分类方法和装置 | |
| CN112202718B (zh) | 一种基于XGBoost算法的操作系统识别方法、存储介质及设备 | |
| CN117113262B (zh) | 网络流量识别方法及其系统 | |
| CN113743509A (zh) | 一种基于不完全信息的在线作战意图识别方法及装置 | |
| CN113688387A (zh) | 基于服务器和客户端双重检测的联邦学习中毒攻击的防御方法 | |
| Li et al. | Anomaly detection for cellular networks using big data analytics | |
| CN116684877A (zh) | 一种基于gyac-lstm的5g网络流量异常检测方法及系统 | |
| CN112134875A (zh) | 一种IoT网络异常流量检测方法及系统 | |
| Nalavade et al. | Evaluation of k-means clustering for effective intrusion detection and prevention in massive network traffic data | |
| CN116016298B (zh) | 一种基于隐半马尔可夫模型的5g通信协议异常检测方法 | |
| CN117014182A (zh) | 一种基于lstm的恶意流量检测方法及装置 | |
| CN115665787A (zh) | 一种基于机器学习的低开销amf网络智能故障诊断方法 | |
| CN115189939A (zh) | 一种基于hmm模型的电网网络入侵检测方法及系统 | |
| Peng et al. | SmiLe Net: A Supervised Graph Embedding-based Machine Learning Approach for NextG Vulnerability Detection | |
| CN114205855A (zh) | 一种面向5g切片的馈线自动化业务网络异常检测方法 | |
| Zhang et al. | An effiective IoT device identification using machine learning algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |