CN109787996B - 雾计算中一种基于dql算法的伪装攻击检测方法 - Google Patents

雾计算中一种基于dql算法的伪装攻击检测方法 Download PDF

Info

Publication number
CN109787996B
CN109787996B CN201910130234.0A CN201910130234A CN109787996B CN 109787996 B CN109787996 B CN 109787996B CN 201910130234 A CN201910130234 A CN 201910130234A CN 109787996 B CN109787996 B CN 109787996B
Authority
CN
China
Prior art keywords
data packet
receiving end
legal
value
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910130234.0A
Other languages
English (en)
Other versions
CN109787996A (zh
Inventor
涂山山
孟远
于金亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201910130234.0A priority Critical patent/CN109787996B/zh
Publication of CN109787996A publication Critical patent/CN109787996A/zh
Application granted granted Critical
Publication of CN109787996B publication Critical patent/CN109787996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

雾计算中一种基于DQL算法的伪装攻击检测方法既涉及了计算机网络和无线通信领域，又属于网络空间安全领域。本发明利用物理层安全技术中的信道参数和DQL(Double Q‑learning,DQL)算法，实现雾计算环境中雾层和用户层间的伪装攻击检测，伪装攻击使得合法雾节点或用户接收端收到假冒的数据包，影响雾计算网络中雾节点和移动用户的安全通信。基于DQL算法检测伪装攻击，改善了Q‑learning算法中Q值的过度估计问题，既可以增加动态环境下接收端收到数据包的精确率，又能够降低接收端检测伪装攻击时的误报率和漏检率，同时增强了雾计算网络中的安全防护能力。

Description

雾计算中一种基于DQL算法的伪装攻击检测方法
技术领域
本发明利用物理层安全技术中的信道参数和DQL(Double Q-learning,DQL)算法，实现雾计算环境中雾层和用户层间的伪装攻击检测，伪装攻击使得合法雾节点或用户接收端收到假冒的数据包，影响雾计算网络中雾节点和移动用户的安全通信。基于DQL算法检测伪装攻击，改善了Q-learning算法中Q值的过度估计问题，既可以增加动态环境下接收端收到数据包的精确率，又能够降低接收端检测伪装攻击时的误报率和漏检率，同时增强了雾计算网络中的安全防护能力。使用强化学习算法和信道参数检测伪装攻击，既涉及了计算机网络和无线通信领域，又属于网络空间安全领域。
背景技术
在过去的十年中，由于移动互联网流量呈指数级增长，移动设备引导着无线通信和网络的显著发展。其中，蜂窝异构网络、毫米波通信及多输入多输出(Multiple-InputMultiple-Output,MIMO)技术为下一代用户提供了千兆无线网络接入服务，使得处理效率低下的移动设备也能够借助远程云数据中心的高处理能力和大内存存储能力运行各自的计算服务。然而在云计算中，不同的用户、应用程序会在不同的时间、位置生成和利用数据，如语音服务、视频服务和游戏等产生的数据都与用户的时刻位置有关，这将导致不同的应用程序需要更高的处理和存储要求，并且不同的应用程序数据在执行时往往没有考虑用户的移动性。当前，云服务器与终端用户的距离较远，而大量物联网设备的加入使得终端迫切需要低延迟、位置感知等能力。因此，传统云计算不再适用于新一代移动物联网网络，雾计算出现弥补了新的应用场景的缺失。在雾计算网络中，处理数据的应用程序运行于依据地理位置分布的雾节点中，大多数雾节点与终端通过无线网络连接，雾节点之间也存在高频率互动。
然而，由于雾节点与终端用户间的行为在无线网络中往往容易暴露，雾计算网络容易受到恶意用户的伪装攻击。同时，现有的方法大多通过使用应用层的安全技术保护雾计算网络而没有考虑物理层安全技术在雾计算网络中的应用，缺少对无线信道移动随机性的研究，而对物理层安全技术的研究可以增强密钥的安全性，使密钥基于无线信道由双方直接生成，不需要密钥管理中心及密钥分发过程，并且物理层安全技术独立于计算复杂度，能够简单高效地解决安全问题。
因此，本发明基于物理层安全(Physical Layer Security,PLS)，提出一种基于DQL算法的雾计算伪装攻击检测方法。该方法通过在静态环境中建立非法节点(雾节点和终端用户)与接收端之间的零和博弈并且在接收端建立基于信道状态信息(Channel StatusInformation,CSI)的假设检验，解决了用于检测动态环境下伪装攻击的阈值问题，同时借助DQL算法优化了检测阈值。与基于Q-learning算法检测伪装攻击的方法相比，该方法提高了检测的精确度，降低了误报率(Fault Alarm Rate,FAR)、漏检率(Miss Detection Rate,MDR)和平均错误率(Average Error Rate,AER)，解决了Q-learning算法的Q值过度估计问题，增强了雾节点与终端用户间的安全性。
发明内容
本发明获得了一种基于DQL算法的雾计算伪装检测方法，设计了雾计算中的伪装攻击安全模型并采用此方法检测伪装攻击；通过该方法进行检测，使得检测阈值能够达到最优，解决了检测伪装攻击的阈值问题，提高了检测的精确度；同时，增强了雾计算网络的安全防护能力。
本发明采用了如下的技术方案及实现步骤：
1.雾计算中的伪装攻击安全模型
本发明的安全模型面向雾节点与终端用户，考虑雾节点与终端用户间的无线网络。假设有a个发送端，r个接收端，h个合法节点和i个非法节点，其中：
Figure BDA0001975059650000021
Figure BDA0001975059650000022
非法节点表示带有虚假的MAC-A地址的节点，它能够是雾节点也能够是终端用户节点。同时该节点能够假冒终端用户向雾节点或终端用户发送数据包，也能够假冒雾节点向合法用户发送数据包。非法用户在一个时隙内发送一个虚假MAC-A地址的概率为pj∈[0,1]。第a个发送端的MAC-A地址为
Figure BDA0001975059650000023
其中θ是表示所有MAC-A地址的集合。每个接收端收到每个数据包后均估计其相关的CSI，并提取数据包的信道向量，被接收端接受的数据包的信道向量被称为信道记录。所以，第a个发送端发送的第t个数据包的信道向量为
Figure BDA0001975059650000024
第a个发送者发送的第t个数据包的信道记录为
Figure BDA0001975059650000031
x表示第t个数据包的第x个信息。
2.一种基于DQL算法的伪装攻击检测方法
该方法包括以下步骤：
(1)假设检验用来验证数据包的身份，合法节点发送的数据包的信道向量为
Figure BDA0001975059650000032
合法节点的MAC-A地址为
Figure BDA0001975059650000033
假设H0表示MAC-A的数据包是由合法节点发送的，假设H1表示MAC-A的数据包是由非合法节点发送的，表示如下：
Figure BDA0001975059650000034
Figure BDA0001975059650000035
物理层安全中，CSI表明了信道特征，它是唯一的，接收端提取CSI能够验证数据包。如果信道向量与信道记录相同，那么发送端发送的数据包被认为是合法数据包，接收端接收；否则，数据包被认为是从非合法节点发送而来，接收端拒绝接收。假设检验的统计量表示如下：
Figure BDA0001975059650000036
其中，||·||表示弗罗贝尼乌斯范数，S为信道向量与信道记录间的归一化欧式距离，将统计量与阈值λ比较，假设检验表示为：
Figure BDA0001975059650000037
Figure BDA0001975059650000038
由于欧式距离的值S大于等于0，所以阈值也大于等于0。定义误报率PA与漏检率PB：
PA＝PR(H1|H0)
(6)
PB＝PR(H0|H1)
(7)
其中，PR为条件概率，误报率表示合法节点发送的合法数据包被检测为非合法数据包的概率。漏检率表示不合法的数据包被检测为合法数据包的概率。接收端接收(6)中合法节点发送的合法数据包的概率和接收端拒绝(7)中非合法数据包的概率分别表示为：
PR(H0|H0)＝1-PA
(8)
PR(H1|H1)＝1-PB
(9)
根据假设检验，假设测试阈值λ的大小影响伪装攻击检测的精确率，当阈值增大时，漏检率随之增加，另一方面，当阈值减小时，误报率也会增加。除了物理层安全检测，接收方也应该设定高层数据包检测(Higher Layer Authentication,HLA)，检测经过物理层验证的数据包，最终接受所有通过检测的数据包，每个数据包被接受时，
Figure BDA0001975059650000041
若不被接受，
Figure BDA0001975059650000042
(2)计算静态环境下接收端检测伪装攻击的效用。在静态环境中，在接收端建立假设检验并选择阈值检测伪装攻击，使用零和博弈计算接收端的效用，其中有F个非法节点和N个接收者。非合法节点发送非合法数据包的概率为pj∈[0,1]，1≤j≤F，发送非合法数据包的集合为Y＝[pj]1≤j≤F，非合法节点之间能够互相协作，假设在一个时隙中只有一个非法节点进行伪装攻击，接收端接收到一个非合法数据包的概率为
Figure BDA0001975059650000043
因此，伪装攻击先验分布下伪装检测的贝叶斯风险表示为：
Figure BDA0001975059650000044
其中，g1为接收端接收合法数据包的收益，g0为拒绝非合法数据包的收益，C1为接收端拒绝合法数据包的成本，C0为接收非法数据包的成本，第一项为合法数据包的收益，第二项为伪装攻击产生的收益。因此，在零和博弈中，接收端的收益表示为：
Figure BDA0001975059650000045
其中，λ为接收端选择的测试阈值，λ∈[0，∞)，UN(λ,Y)为接收端选择阈值λ时检测伪装攻击获得的效用；UF(λ,Y)为在接收端选择阈值λ检测伪装攻击时伪装者获得的效用。
(3)动态环境下检测伪装攻击并优化阈值，获取最优检测阈值。
在动态伪装检测中，接收端构建假设检验，评估每个时隙中发送来的T个数据包，利用测试阈值检测它们的发送者是合法节点还是非法节点。将测试阈值分为L+1个量化水平，l对应L+1个量化水平中的任意一个，即λ∈{l/L},0≤l≤L，接收端在时刻τ的状态表示为sτ，它指的是在时刻τ-1处的FAR与MDR，表示为
Figure BDA0001975059650000051
其中D为接收端所有状态的集合。因此，误差率同样被量化为L+1级，它们的值与测试阈值相关。根据DQL算法，接收端在每个状态下选择动作，其获得的立即收益如下式所示：
Figure BDA0001975059650000052
其中，Δτ为在时刻τ接收端接收数据包所获得的立即收益，
Figure BDA0001975059650000053
为在时刻t时接收端利用阈值λ检测伪装攻击获得的效用。DQL算法使用了两个Q值表Q1和Q2，它们互相选择最大Q值和动作即阈值，弥补错误。接收端使用ε-greedy策略在每个状态选择动作，以ε的概率选择次优动作，以1-ε的概率选择使当前状态下
Figure BDA0001975059650000054
最大的动作，概率值为：
Figure BDA0001975059650000055
在DQL算法中，μ表示奖励性衰变系数，μ∈(0，1)，学习效率δ表示下一状态可能带来的收益，δ∈(0，1)，更新公式如下：
Figure BDA0001975059650000056
Figure BDA0001975059650000057
其中，λτ表示在状态sτ下接收端检测伪装攻击时使用的阈值；
Figure BDA0001975059650000058
Figure BDA0001975059650000061
Figure BDA0001975059650000062
其中，Q1(sτ,λ)为在时刻τ接收端状态下使用λ检测伪装攻击获得的Q1表的收益值，Q2(sτ,λ)为在时刻τ接收端状态下使用λ检测伪装攻击获得的Q2表的收益值。V(sτ)表示当前状态中对应于各个动作下Q1+Q2的均值最大值，即最大Q值。
Figure BDA0001975059650000063
和
Figure BDA0001975059650000064
分别为Q1和Q2表中时刻τ+1下使Q值最大的测试阈值。因此，最佳测试阈值为：
Figure BDA0001975059650000065
公式(19)表示在每个状态下使两个Q表收益和最大的阈值。根据上述公式，获取最佳阈值和最大化效用的DQL算法步骤总结如下：
①初始化，给ε,μ,δ,Q1(sτ,λ),Q2(sτ,λ)赋初值，其中
Figure BDA00019750596500000612
②τ＝1，2，3...，在当前状态sτ下，选择测试阈值λτ，用于判断当前状态与前一状态间的时隙内所有数据包的合法性。
③接收端a接收到一个数据包，观察MAC-A地址，
Figure BDA0001975059650000066
提取信道向量和信道记录，即
Figure BDA0001975059650000067
和
Figure BDA0001975059650000068
④使用公式(3)计算欧式距离
Figure BDA0001975059650000069
如果
Figure BDA00019750596500000610
那么将这个数据包发给HLA处理，并且
Figure BDA00019750596500000611
接收这个数据包；否则拒绝这个数据包。此步骤用于判断接收到的数据包是否是合法数据包，接收合法数据包，丢弃非合法数据包。
⑤重复③和④，直到接收端处理完一个时隙中接收到的T个数据包。
⑥进入下一个状态sτ+1，根据公式(12)计算Δτ，以0.5的概率使用公式(14)更新Q1(sτ,λτ)，以0.5的概率使用公式(15)更新Q2(sτ,λτ)，并且使用公式(18)更新V(sτ)，获取当前Q值平均值的最大值。
⑦返回②继续执行，重复②-⑥，直到达到目标状态，完成优化公式(18)(19)所表示的最大Q值和最优测试阈值的过程。
(4)计算FAR、MDR和AER值
假设检验中，FAR与MDR基于DQL算法的计算公式如下：
Figure BDA0001975059650000071
Figure BDA0001975059650000072
其中，PA(λ)为采用阈值λ检测伪装攻击的误报率，PB(λ)为采用阈值λ检测伪装攻击的漏检率，
Figure BDA0001975059650000073
是2M自由度的累积分布函数，接收端以σ2获得发送端的平均功率增益，ρ为合法数据包的信号与干扰加噪声比(Signal to Interference plus Noise Ratio,SINR)。b为信道增益的相对变化，k为伪装者的信道增益与发送端的信道增益比。
AER值表示在固定网络模型中，给定的初始化参数条件下伪装检测的平均错误率。
计算公式如下：
Figure BDA0001975059650000074
本发明的创造性主要体现在：
(1)本发明针对雾计算中以传统的安全技术实现用户与雾节点间安全性的方法不够完善的问题，借助物理层安全技术能够增强密钥安全性、简单高效地处理安全问题的特点，将物理层的信道属性用于检测伪装攻击；根据雾计算环境下终端用户的移动性，基于强化学习算法可以得到动态环境下信息不完全的最优策略，设计了一个雾计算下基于DQL算法检测伪装攻击的方案，增强了雾节点与终端用户间通信的安全性。
(2)本发明将基于DQL算法检测伪装攻击的方法与基于Q-learning算法检测伪装攻击的方法在FAR、MDR、AER和最大Q值四个方面进行比较。结果表明在同样的初始参数条件下，本发明的方法能够降低FAR、MDR、AER和最大Q值，处理了Q-learning算法存在的Q值过度估计问题，提高了检测伪装攻击的准确率。
附图说明
图1是本发明雾计算环境下安全模型图
图2是在初始参数条件下1-100次连续实验中本发明检测伪装攻击与Q-learning算法检测伪装攻击的FAR值对比图
图3是在初始参数条件下1-100次连续实验中本发明检测伪装攻击与Q-learning算法检测伪装攻击的MDR值对比图
图4是在初始参数条件下1-100次连续实验中本发明检测伪装攻击与Q-learning算法检测伪装攻击的AER值对比图
图5是在初始参数条件下5000个状态时刻中本发明检测伪装攻击与Q-learning算法检测伪装攻击的最大Q值对比图
具体实施方式
本发明获得了一种基于DQL算法的雾计算伪装检测方法，设计了雾计算中的伪装攻击安全模型并采用此方法检测伪装攻击；通过该方法进行检测，使得检测阈值能够达到最优，解决了检测伪装攻击的阈值问题，提高了检测的精确度；同时，增强了雾计算网络的安全防护能力。
本发明采用了如下的技术方案及实现步骤：
1.雾计算中的伪装攻击安全模型
本发明的安全模型面向雾节点与终端用户，考虑雾节点与终端用户间的无线网络。假设有a个发送端，r个接收端，h个合法节点和i个非法节点，其中：
Figure BDA0001975059650000081
Figure BDA0001975059650000082
如图1所示。非法节点表示带有虚假的MAC-A地址的节点，它能够是雾节点也能够是终端用户节点。同时该节点能够假冒终端用户向雾节点或终端用户发送数据包，也能够假冒雾节点向合法用户发送数据包。非法用户在一个时隙内发送一个虚假MAC-A地址的概率为pj∈[0,1]。第a个发送端的MAC-A地址为
Figure BDA0001975059650000083
其中θ是表示所有MAC-A地址的集合。每个接收端收到每个数据包后均估计其相关的CSI，并提取数据包的信道向量，被接收端接受的数据包的信道向量被称为信道记录。所以，第a个发送端发送的第t个数据包的信道向量为
Figure BDA0001975059650000091
第a个发送者发送的第t个数据包的信道记录为
Figure BDA0001975059650000092
x表示第t个数据包的第x个信息。
2.一种基于DQL算法的伪装攻击检测方法
该方法包括以下步骤：
(1)假设检验用来验证数据包的身份，合法节点发送的数据包的信道向量为
Figure BDA0001975059650000098
合法节点的MAC-A地址为
Figure BDA0001975059650000099
假设H0表示MAC-A的数据包是由合法节点发送的，假设H1表示MAC-A的数据包是由非合法节点发送的，表示如下：
Figure BDA0001975059650000093
Figure BDA0001975059650000094
物理层安全中，CSI表明了信道特征，它是唯一的，接收端提取CSI能够验证数据包。如果信道向量与信道记录相同，那么发送端发送的数据包被认为是合法数据包，接收端接收；否则，数据包被认为是从非合法节点发送而来，接收端拒绝接收。假设检验的统计量表示如下：
Figure BDA0001975059650000095
其中，||·||表示弗罗贝尼乌斯范数，S为信道向量与信道记录间的归一化欧式距离，将统计量与阈值λ比较，假设检验表示为：
Figure BDA0001975059650000096
Figure BDA0001975059650000097
由于欧式距离的值S大于等于0，所以阈值也大于等于0。定义误报率PA与漏检率PB：
PA＝PR(H1|H0)
(28)
PB＝PR(H0|H1)
(29)
其中，PR为条件概率，误报率表示合法节点发送的合法数据包被检测为非合法数据包的概率。漏检率表示不合法的数据包被检测为合法数据包的概率。接收端接收(6)中合法节点发送的合法数据包的概率和接收端拒绝(7)中非合法数据包的概率分别表示为：
PR(H0|H0)＝1-PA
(30)
PR(H1|H1)＝1-PB
(31)
根据假设检验，假设测试阈值的大小影响伪装攻击检测的精确率，当阈值增大时，漏检率随之增加，另一方面，当阈值减小时，误报率也会增加。除了物理层安全检测，接收方也应该设定高层数据包检测(Higher Layer Authentication,HLA)，检测经过物理层验证的数据包，最终接受所有通过检测的数据包，每个数据包被接受时，
Figure BDA0001975059650000101
若不被接受，
Figure BDA0001975059650000102
(2)计算静态环境下接收端检测伪装攻击的效用。在静态环境中，在接收端建立假设检验并选择阈值检测伪装攻击，使用零和博弈计算接收端的效用，其中有F个非法节点和N个接收者。非合法节点发送非合法数据包的概率为pj∈[0,1]，1≤j≤F，发送非合法数据包的集合为Y＝[pj]1≤j≤F，非合法节点之间能够互相协作，假设在一个时隙中只有一个非法节点进行伪装攻击，接收端接收到一个非合法数据包的概率为
Figure BDA0001975059650000103
因此，伪装攻击先验分布下伪装检测的贝叶斯风险表示为：
Figure BDA0001975059650000104
其中，g1为接收端接收合法数据包的收益，g0为拒绝非合法数据包的收益，C1为接收端拒绝合法数据包的成本，C0为接收非法数据包的成本，第一项为合法数据包的收益，第二项为伪装攻击产生的收益。因此，在零和博弈中，接收端的收益表示为：
Figure BDA0001975059650000111
其中，λ为接收端选择的测试阈值，λ∈[0，∞)，UN(λ,Y)为接收端选择阈值λ时检测伪装攻击获得的效用；UF(λ,Y)为在接收端选择阈值λ检测伪装攻击时伪装者获得的效用。
(3)动态环境下检测伪装攻击并优化阈值，获取最优检测阈值。
在动态伪装检测中，接收端构建假设检验，评估每个时隙中发送来的T个数据包，利用测试阈值检测它们的发送者是合法节点还是非法节点。将测试阈值分为L+1个量化水平，l对应L+1个量化水平中的任意一个，即λ∈{l/L},0≤l≤L，接收端在时刻τ的状态表示为sτ，它指的是在时刻τ-1处的FAR与MDR，表示为
Figure BDA0001975059650000112
其中D为接收端所有状态的集合。因此，误差率同样被量化为L+1级，它们的值与测试阈值相关。根据DQL算法，接收端在每个状态下选择动作，其获得的立即收益如下式所示：
Figure BDA0001975059650000113
其中，Δτ为在时刻τ接收端接收数据包所获得的立即收益，
Figure BDA0001975059650000114
为在时刻t时接收端利用阈值λ检测伪装攻击获得的效用。DQL算法使用了两个Q值表Q1和Q2，它们互相选择最大Q值和动作即阈值，弥补错误。接收端使用ε-greedy策略在每个状态选择动作，以ε的概率选择次优动作，以1-ε的概率选择使当前状态下
Figure BDA0001975059650000115
最大的动作，概率值为：
Figure BDA0001975059650000116
在DQL算法中，μ表示奖励性衰变系数，μ∈(0，1)，学习效率δ表示下一状态可能带来的收益，δ∈(0，1)，更新公式如下：
Figure BDA0001975059650000117
Figure BDA0001975059650000118
其中，λτ表示在状态sτ下接收端检测伪装攻击时使用的阈值。
Figure BDA0001975059650000121
Figure BDA0001975059650000122
Figure BDA0001975059650000123
其中，Q1(sτ,λ)为在时刻τ接收端状态下使用λ检测伪装攻击获得的Q1表的收益值，Q2(sτ,λ)为在时刻τ接收端状态下使用λ检测伪装攻击获得的Q2表的收益值。V(sτ)表示当前状态中对应于各个动作下Q1+Q2的均值最大值，即最大Q值。
Figure BDA0001975059650000124
和
Figure BDA0001975059650000125
分别为Q1和Q2表中时刻τ+1下使Q值最大的测试阈值。因此，最佳测试阈值为：
Figure BDA0001975059650000126
公式(19)表示在每个状态下使两个Q表收益和最大的阈值。根据上述公式，获取最佳阈值和最大化效用的DQL算法步骤总结如下：
①初始化，给ε,μ,δ,Q1(sτ,λ),Q2(sτ,λ)赋初值，其中
Figure BDA0001975059650000127
②τ＝1，2，3...，在当前状态sτ下，选择测试阈值λτ，用于判断当前状态与前一状态间的时隙内所有数据包的合法性。
③接收端a接收到一个数据包，观察MAC-A地址，
Figure BDA0001975059650000128
提取信道向量和信道记录，即
Figure BDA0001975059650000129
和
Figure BDA00019750596500001210
④使用公式(3)计算欧式距离
Figure BDA00019750596500001211
如果
Figure BDA00019750596500001212
那么将这个数据包发给HLA处理，并且
Figure BDA00019750596500001213
接收这个数据包；否则拒绝这个数据包。此步骤用于判断接收到的数据包是否是合法数据包，接收合法数据包，丢弃非合法数据包。
⑤重复③和④，直到接收端处理完一个时隙中接收到的T个数据包。
⑥进入下一个状态sτ+1，根据公式(12)计算Δτ，以0.5的概率使用公式(14)更新Q1(sτ,λτ)，以0.5的概率使用公式(15)更新Q2(sτ,λτ)，并且使用公式(18)更新V(sτ)，获取当前Q值平均值的最大值。
⑦返回②继续执行，重复②-⑥，直到达到目标状态，完成优化公式(18)(19)所表示的最大Q值和最优测试阈值的过程。
(4)计算FAR、MDR和AER值
假设检验中，FAR与MDR基于DQL算法的计算公式如下：
Figure BDA0001975059650000131
Figure BDA0001975059650000132
其中，PA(λ)为采用阈值λ检测伪装攻击的误报率，PB(λ)为采用阈值λ检测伪装攻击的漏检率，
Figure BDA0001975059650000133
是2M自由度的累积分布函数，接收端以σ2获得发送端的平均功率增益，ρ为合法数据包的信号与干扰加噪声比(Signal to Interference plus Noise Ratio,SINR)。b为信道增益的相对变化，k为伪装者的信道增益与发送端的信道增益比。
AER值表示在固定网络模型中，给定的初始化参数条件下伪装检测的平均错误率。
计算公式如下：
Figure BDA0001975059650000134
本发明使用的初始化参数意义和值如下表所示。
参数 参数意义 参数值
g<sub>1</sub> 接收合法数据包的收益 6
g<sub>0</sub> 拒绝非合法数据包的收益 9
C<sub>0</sub> 接收非合法数据包的成本 4
C<sub>1</sub> 拒绝合法数据包的成本 2
ε 策略选择率 0.5
μ 学习效率 0.4
δ 奖励性衰变系数 0.8
f<sub>0</sub> 中心频率 2.4GHz
ρ 合法数据包的SINR 10
k 伪装者与发送端的信道增益比 0.2
b 信道增益相对变化率 3
图2显示在初始参数条件下1-100次连续实验中本发明检测伪装攻击与Q-learning算法检测伪装攻击的FAR值对比，X轴：实验次数，单位是次，Y轴：FAR值，单位是“1”，实线为基于DQL算法检测伪装攻击的FAR值，虚线为基于Q-learning算法检测伪装攻击的FAR值。在初始参数条件下1-100次连续实验中本发明检测伪装攻击与Q-learning算法检测伪装攻击的MDR对比如图3，X轴：实验次数，单位是次，Y轴：MDR值，单位是“1”，实线为基于DQL算法检测伪装攻击的MDR值，虚线为基于Q-learning算法检测伪装攻击的MDR值。在初始参数条件下1-100次连续实验中本发明检测伪装攻击与Q-learning算法检测伪装攻击的AER对比如图4，X轴：实验次数，单位是次，Y轴：AER值，单位是“1”，实线为基于DQL算法检测伪装攻击的AER值，虚线为基于Q-learning算法检测伪装攻击的AER值。在初始参数条件下5000个状态时刻中本发明检测伪装攻击与Q-learning算法检测伪装攻击的最大Q值对比如图5，X轴：实验次数，单位是次，Y轴：AER值，单位是“1”，实线为基于DQL算法检测伪装攻击的最大Q值，虚线为基于Q-learning算法检测伪装攻击的最大Q值。根据图2-5所示，本发明提出的方法在同样的初始参数条件下获取了更准确的最优阈值，降低了伪装检测的FAR、MDR、AER值，提高了检测准确率。

Claims (1)

1.雾计算中一种基于DQL算法的伪装检测方法，其特征在于，
雾计算中的伪装攻击安全模型具体如下：
安全模型面向雾节点与终端用户，考虑雾节点与终端用户间的无线网络；假设有z个发送端，r个接收端，h个合法节点和i个非法节点，其中：
Figure FDA0003278758570000011
Figure FDA0003278758570000012
非法节点表示带有虚假的MAC-A地址的节点，它能够是雾节点也能够是终端用户节点；同时该节点能够假冒终端用户向雾节点或终端用户发送数据包，也能够假冒雾节点向合法用户发送数据包；
非法用户在一个时隙内发送一个虚假MAC-A地址的概率为pj∈[0，1]；第z个发送端的MAC-A地址为
Figure FDA0003278758570000013
其中θ是表示所有MAC-A地址的集合；每个接收端收到每个数据包后均估计其相关的CSI，并提取数据包的信道向量，被接收端接受的数据包的信道向量被称为信道记录；所以，第z个发送端发送的第t个数据包的信道向量为
Figure FDA0003278758570000014
第z个发送者发送的第t个数据包的信道记录为
Figure FDA0003278758570000015
x表示第t个数据包的第x个信息；
该方法包括以下步骤：
(一)假设检验用来验证数据包的身份，合法节点发送的数据包的信道向量为
Figure FDA0003278758570000016
合法节点的MAC-A地址为
Figure FDA0003278758570000017
假设Η0表示MAC-A的数据包是由合法节点发送的，假设Η1表示MAC-A的数据包是由非合法节点发送的，表示如下：
Figure FDA0003278758570000018
Figure FDA0003278758570000019
物理层安全中，CSI表明了信道特征，它是唯一的，接收端提取CSI能够验证数据包；如果信道向量与信道记录相同，那么发送端发送的数据包被认为是合法数据包，接收端接收；否则，数据包被认为是从非合法节点发送而来，接收端拒绝接收；假设检验的统计量表示如下：
Figure FDA00032787585700000110
其中，||·||表示弗罗贝尼乌斯范数，S为信道向量与信道记录间的归一化欧式距离，将统计量与阈值λ比较，假设检验表示为：
Figure FDA0003278758570000021
Figure FDA0003278758570000022
由于欧式距离的值S大于等于0，所以阈值也大于等于0；定义误报率PA与漏检率PB：
PA＝PR(Η1|Η0)
(6)
PB＝PR(Η0|Η1)
(7)
其中，PR为条件概率，误报率表示合法节点发送的合法数据包被检测为非合法数据包的概率；漏检率表示不合法的数据包被检测为合法数据包的概率；接收端接收(6)中合法节点发送的合法数据包的概率和接收端拒绝(7)中非合法数据包的概率分别表示为：
PR(Η0|Η0)＝1-PA
(8)
PR(Η1|Η1)＝1-PB
(9)
根据假设检验，假设测试阈值的大小影响伪装攻击检测的精确率，当阈值增大时，漏检率随之增加，另一方面，当阈值减小时，误报率也会增加；除了物理层安全检测，接收方也应该设定高层数据包检测，检测经过物理层验证的数据包，最终接受所有通过检测的数据包，每个数据包被接受时，
Figure FDA0003278758570000023
若不被接受，
Figure FDA0003278758570000024
(二)计算静态环境下接收端检测伪装攻击的效用；在静态环境中，在接收端建立假设检验并选择阈值检测伪装攻击，使用零和博弈计算接收端的效用，其中有F个非法节点和N个接收者；非合法节点发送非合法数据包的概率为pj∈[0,1]，1≤j≤F，发送非合法数据包的集合为Y＝[pj]1≤j≤F，非合法节点之间能够互相协作，假设在一个时隙中只有一个非法节点进行伪装攻击，接收端接收到一个非合法数据包的概率为
Figure FDA0003278758570000031
因此，伪装攻击先验分布下伪装检测的贝叶斯风险表示为：
Figure FDA0003278758570000032
其中，g1为接收端接收合法数据包的收益，g0为拒绝非合法数据包的收益，C1为接收端拒绝合法数据包的成本，C0为接收非法数据包的成本，第一项为合法数据包的收益，第二项为伪装攻击产生的收益；因此，在零和博弈中，接收端的收益表示为：
Figure FDA0003278758570000033
其中，λ为接收端选择的测试阈值，UN(λ,Y)为接收端选择阈值λ时检测伪装攻击获得的效用；UF(λ,Y)为在接收端选择阈值λ检测伪装攻击时伪装者获得的效用；
(三)动态环境下检测伪装攻击并优化阈值，获取最优检测阈值；
在动态伪装检测中，接收端构建假设检验，评估每个时隙中发送来的T个数据包，利用测试阈值检测它们的发送者是合法节点还是非法节点；将测试阈值分为L+1个量化水平，l对应L+1个量化水平中的任意一个，即λ∈{l/L},0≤l≤L，接收端在时刻τ的状态表示为sτ，它指的是在时刻τ-1处的FAR与MDR，表示为
Figure FDA0003278758570000034
其中D为接收端所有状态的集合；因此，误差率同样被量化为L+1级，它们的值与测试阈值相关；根据DQL算法，接收端在每个状态下选择动作，其获得的立即收益如下式所示：
Figure FDA0003278758570000035
其中，Δτ为在时刻τ接收端接收数据包所获得的立即收益，
Figure FDA0003278758570000036
为在时刻t时接收端利用阈值λ检测伪装攻击获得的效用；DQL算法使用了两个Q值表Q1和Q2，它们互相选择最大Q值和动作即阈值，弥补错误；接收端使用ε-greedy策略在每个状态选择动作，以ε的概率选择次优动作，以1-ε的概率选择使当前状态下
Figure FDA0003278758570000041
最大的动作，概率值为：
Figure FDA0003278758570000042
在DQL算法中，μ表示奖励性衰变系数，μ∈(0，1)，学习效率δ表示下一状态可能带来的收益，δ∈(0，1)，更新公式如下：
Figure FDA0003278758570000043
Figure FDA0003278758570000044
其中，λτ表示在状态sτ下接收端检测伪装攻击时使用的阈值；
Figure FDA0003278758570000045
Figure FDA0003278758570000046
Figure FDA0003278758570000047
其中，Q1(sτ,λ)为在时刻τ接收端状态下使用λ检测伪装攻击获得的Q1表的收益值，Q2(sτ,λ)为在时刻τ接收端状态下使用λ检测伪装攻击获得的Q2表的收益值；V(sτ)表示当前状态中对应于各个动作下Q1+Q2的均值最大值，即最大Q值；
Figure FDA0003278758570000048
和
Figure FDA0003278758570000049
分别为Q1和Q2表中时刻τ+1下使Q值最大的测试阈值；因此，最佳测试阈值为：
Figure FDA00032787585700000410
公式(19)表示在每个状态下使两个Q表收益和最大的阈值；根据上述公式，获取最佳阈值和最大化效用的DQL算法步骤总结如下：
①初始化，给ε,μ,δ,Q1(sτ,λ),Q2(sτ,λ)赋初值，其中
Figure FDA00032787585700000411
②τ＝1，2，3...，在当前状态sτ下，选择测试阈值λτ，用于判断当前状态与前一状态间的时隙内所有数据包的合法性；
③接收端r不断接收z个发送端发来的数据包，每当收到一个数据包，都观察其MAC-A地址，提取其信道向量和信道记录，即
Figure FDA00032787585700000412
和
Figure FDA00032787585700000413
并对该数据包执行步骤④；
④使用公式(3)计算欧式距离
Figure FDA00032787585700000414
如果
Figure FDA00032787585700000415
那么将这个数据包发给HLA处理，并且
Figure FDA0003278758570000051
接收这个数据包；否则拒绝这个数据包；此步骤用于判断接收到的数据包是否是合法数据包，接收合法数据包，丢弃非合法数据包；
⑤重复③和④，直到接收端处理完一个时隙中接收到的T个数据包；
⑥进入下一个状态sτ+1，根据公式(12)计算Δτ，以0.5的概率使用公式(14)更新Q1(sτ,λτ)，以0.5的概率使用公式(15)更新Q2(sτ,λτ)，并且使用公式(18)更新V(sτ)，获取当前Q值平均值的最大值；
⑦返回②继续执行，重复②-⑥，直到达到目标状态，完成优化公式(18)(19)所表示的最大Q值和最优测试阈值的过程；
(四)计算FAR、MDR和AER值
假设检验中，FAR与MDR基于DQL算法的计算公式如下：
Figure FDA0003278758570000052
Figure FDA0003278758570000053
其中，PA(λ)为采用阈值λ检测伪装攻击的误报率，PB(λ)为采用阈值λ检测伪装攻击的漏检率，
Figure FDA0003278758570000054
是2M自由度的累积分布函数，接收端以σ2获得发送端的平均功率增益，ρ为合法数据包的信号与干扰加噪声比；b为信道增益的相对变化，k为伪装者的信道增益与发送端的信道增益比；
AER值表示在固定网络模型中，给定的初始化参数条件下伪装检测的平均错误率；计算公式如下：
Figure FDA0003278758570000055
CN201910130234.0A 2019-02-21 2019-02-21 雾计算中一种基于dql算法的伪装攻击检测方法 Active CN109787996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910130234.0A CN109787996B (zh) 2019-02-21 2019-02-21 雾计算中一种基于dql算法的伪装攻击检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910130234.0A CN109787996B (zh) 2019-02-21 2019-02-21 雾计算中一种基于dql算法的伪装攻击检测方法

Publications (2)

Publication Number Publication Date
CN109787996A CN109787996A (zh) 2019-05-21
CN109787996B true CN109787996B (zh) 2021-11-12

Family

ID=66486858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910130234.0A Active CN109787996B (zh) 2019-02-21 2019-02-21 雾计算中一种基于dql算法的伪装攻击检测方法

Country Status (1)

Country Link
CN (1) CN109787996B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113364386B (zh) * 2021-05-26 2023-03-21 潍柴动力股份有限公司 永磁同步电机的基于强化学习的h∞电流控制方法及系统
CN114666107B (zh) * 2022-03-04 2024-06-04 北京工业大学 移动雾计算中一种高级持续性威胁防御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106170131A (zh) * 2016-08-22 2016-11-30 中央军委装备发展部第六十三研究所 一种信道状态不确定条件下分层异构网络的稳健分层博弈学习资源分配方法
CN107332855A (zh) * 2017-07-20 2017-11-07 浙江大学 基于增强学习算法的主用户仿真攻击检测方法
CN108833402A (zh) * 2018-06-11 2018-11-16 中国人民解放军战略支援部队信息工程大学 一种基于有限理性博弈理论的网络最优防御策略选取方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160359695A1 (en) * 2015-06-04 2016-12-08 Cisco Technology, Inc. Network behavior data collection and analytics for anomaly detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106170131A (zh) * 2016-08-22 2016-11-30 中央军委装备发展部第六十三研究所 一种信道状态不确定条件下分层异构网络的稳健分层博弈学习资源分配方法
CN107332855A (zh) * 2017-07-20 2017-11-07 浙江大学 基于增强学习算法的主用户仿真攻击检测方法
CN108833402A (zh) * 2018-06-11 2018-11-16 中国人民解放军战略支援部队信息工程大学 一种基于有限理性博弈理论的网络最优防御策略选取方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
软件行为动态分析关键技术研究;万小敏;《中国博士学位论文全文数据库 信息科技辑》;20160115;全文 *

Also Published As

Publication number Publication date
CN109787996A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
Xiao et al. IoT security techniques based on machine learning: How do IoT devices use AI to enhance security?
Poongodi et al. A firegroup mechanism to provide intrusion detection and prevention system against DDoS attack in collaborative clustered networks
Wang et al. Sybil attack detection based on RSSI for wireless sensor network
CN107426212B (zh) 一种认知无线网络中基于代理的入侵检测方法
Fragkiadakis et al. Anomaly‐based intrusion detection of jamming attacks, local versus collaborative detection
Abdalzaher et al. Using repeated game for maximizing high priority data trustworthiness in wireless sensor networks
CN109787996B (zh) 雾计算中一种基于dql算法的伪装攻击检测方法
Reddy et al. A similarity based trust model to mitigate badmouthing attacks in Internet of Things (IoT)
CN109951451A (zh) 雾计算中一种基于强化学习的伪装攻击检测方法
Kim et al. Physical identification based trust path routing against sybil attacks on RPL in IoT networks
Fangwei et al. Reputation-based secure spectrum situation fusion in distributed cognitive radio networks
Zhang et al. Dynamic double threshold spectrum sensing algorithm based on block chain
Kaur et al. Identification and mitigation of black hole attack in wireless sensor networks
Kumar et al. A random key distribution based artificial immune system for security in clustered wireless sensor networks
Hazra et al. Blackhole Attack Defending Trusted On-Demand Routing in Ad-Hoc Network
Cai et al. Decoupling trust and wireless channel induced effects on collaborative sensing attacks
CN112929882B (zh) 一种识别女巫节点与重叠节点的方法
Luo Robust energy-based target localization in wireless sensor networks in the presence of Byzantine attacks
CN112437085B (zh) 一种网络攻击的识别方法及装置
Kang et al. Detecting identity-spoof attack based on BP network in cognitive radio network
Kumar Random keying technique for security in wireless sensor networks based on memetics
CN110113367B (zh) 一种基于信息干扰的DDoS攻击中僵尸主机检测方法
Kabbur et al. Detection and prevention of dos attacks in vanet with rsu’s cooperative message temporal signature
Bansal et al. Detecting MAC misbehavior switching attacks in Wireless Mesh Networks
Sharmila et al. Energy and hop based detection of sybil attack for mobile wireless sensor networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant