CN112261024A - 基于强化学习的面向快速加解密的车联网密钥管理方法 - Google Patents

Abstract

基于强化学习的面向快速加解密的车联网密钥管理方法，涉及车联网通信和安全。针对车联网用户个性化通信需求，防止数据泄露，设计了一种基于强化学习的面向快速加解密的车联网密钥管理方法。该方法基于车联网中车辆接收到的干扰功率、密钥持续时间、车辆密度等信息，采用强化学习持续优化车辆密钥更新频率和密钥长度，防止数据泄露。所提方法可适应动态车联网环境和防止窃听攻击，提高车辆通信的抗窃听拦截率，降低安全通信的时延。

Description

基于强化学习的面向快速加解密的车联网密钥管理方法

技术领域

本发明涉及车联网通信和安全技术领域的方法，尤其是涉及一种基于强化学习的面向快速加解密的车联网密钥管理方法。

背景技术

车联网作为一种重要的信息交换自组织网络，为车辆用户提供位置、道路安全、天气等信息，提高车辆用户的驾驶体验和安全等级。然而，由于车联网的开放性和高度动态性，车辆用户面临窃听、干扰、信息篡改等安全威胁，给车联网大规模部署带来重大挑战。车联网通常应用加密技术对通信内容加密，保证了通信内容的安全性，提升车联网通信的安全性。

为了提高车联网中加密密钥的安全性，中国专利CN106658493A提出一种车联网密钥更新方法，获取并激活车载终端的第一、第二密钥实现密钥更新，避免了初始密钥的泄露，降低初始密钥泄露危害，提高了车联网信息传输的安全性。中国专利CN105554105A利用密钥更新槽更新密钥，保证车群前向和后向安全，降低了密钥更新代价，同时使用假名机制保护车辆的身份。

为了进一步提高密钥的管理效率和安全性，研究者提出多种密钥管理方案。Y.Hao等人[Y.Hao,Y.Cheng,C.Zhou,and W.Song,“A distributed key management frameworkwith cooperative message authentication in VANETs,”IEEE J.Sel.Areas Commun.,vol.29,no.3,pp.616–629,Mar.2011]提出一种基于群签名的分布式密钥管理方案，采用路边单元分发密钥，使用合作消息认证协议降低认证开销，但是路边单元不是完全可信的设施，作为密钥分发者容易造成新的安全问题。R.Lu等人[R.Lu,X.Lin,X.Liang,and X.Shen,“A dynamic privacy-preserving key management scheme for location-basedservices in VANETs,”IEEE Trans.Intell.Transp.Syst.,vol.13,no.1,pp.127–139,Mar.2012]针对车群中车辆的进入和离开带来的会话密钥泄露风险，提出一种动态隐私保护密钥管理方案，当没有车辆离开车群时，加入车群的车辆使用哈希技术自动更新密钥，否则，进入车辆数目超过阈值时车群密钥更新。该方案保证车群会话密钥的前向和后向安全，并且提高了密钥更新效率。Vijayakumar等人[P.Vijayakumar,M.Azees,A.Kannan,andL.Jegatha Deborah,“Dual authentication and key management techniques forsecure data transmission in vehicular ad hoc networks,”IEEETrans.Intell.Transp.Syst.,vol.17,no.4,pp.1015–1028,Apr.2016]提出一种双群密钥更新方案，可信机构在车辆用户进入和离开车群时，采用中国剩余定理生成密钥，提高了信任机构和车辆的计算时间。

发明内容

本发明目的在于提供可适应动态车联网环境和防止窃听攻击，提高车辆通信的窃听拦截率，降低安全通信时延的一种基于强化学习的面向快速加解密的车联网密钥管理方法。

本发明包括以下步骤：

步骤1：初始化参数：

路边单元状态数目G、行为数目H，学习因子α∈[0,1]、折扣因子γ∈[0,1]、学习速率δ₁∈[0,1]和δ₂∈[0,1]，Q值矩阵Q＝0_G×H，密钥策略π＝1/H_G×H，密钥长度系数a∈[0,1]，接收干扰功率系数b∈[0,1]，安全等级系数c₁∈[0,1]，危险等级系数c₂∈[0,1]，密钥更新时延系数c₃∈[0,1]，车群车辆ID，记做i，车辆数目n，1≤i≤n，状态s计数C(s)＝0，主动窃听器干扰功率p∈[0,P_J]，量化为N等级，即p∈{jP_J/N}，1≤j≤N，车辆与主动窃听器的路径系数h∈[0,1]，车辆的接收干扰功率y＝hp，车辆使用AES加密算法加密通信内容，可选择的加密密钥长度有W种，记作{l₁,l₂,...,l_W}；

步骤2：在时隙k，路边单元接收车辆i测量的接收干扰功率

车辆i上一时隙密钥长度

和密钥的持续时间T_i ^(k-1)，计算车辆的安全等级

和风险等级

构建状态

步骤3：在时隙k，路边单元根据密钥策略π选择车辆密钥更新决策

加密密钥长度

记作密钥管理策略

发送给车群车辆；

步骤4：车群车辆接收密钥管理策略。若

车辆i使用ECDH算法生成长度

的密钥，根据AES加密算法计算密钥更新时延

T_i ^(k)＝1；若

车辆i不更新密钥，T_i ^(k)＝T_i ^(k-1)+1，

步骤5：路边单元接收车辆反馈的

通过下式计算路边单元收益u^(k)：

步骤6：更新Q值表：

步骤7：按照下式更新计算状态计数和平均密钥策略：

C(s^(k))←C(s^(k))+1

步骤8：更新学习速率，当前密钥策略的Q值大于平均密钥策略时学习速率δ＝δ₁，反之δ＝δ₂，用过如下公式更新密钥策略：

步骤9：重复步骤2～8，直至路边单元车群车辆的窃听拦截率大于r且密钥更新时延小于t。

与现有技术相比，本发明针对车联网用户个性化通信需求，防止数据泄露，设计了一种基于强化学习的面向快速加解密的车联网密钥管理方法。该方法基于车联网中车辆接收到的干扰功率、密钥持续时间、车辆密度等信息，采用强化学习持续优化车辆密钥更新频率和密钥长度，防止数据泄露。所提方法可适应动态车联网环境和防止窃听攻击，提高车辆通信的抗窃听拦截率，降低安全通信的时延。

具体实施方式

下面结合实施例进一步描述本发明的技术方案。

本发明实施例包括以下步骤：

步骤1：建立车联网网络，包括路边单元一个，车辆i，当前车辆数目n为20，主动窃听器一个。车辆采取AES加密算法加密通信信息，可选的密钥长度有3种，即l∈{128,192,256}，主动窃听者功率p∈[0,5]mW，量化为11等级，即p∈[0,0.5,...,5]。

初始化参数：路边单元状态数目G为100、行为数目H为80，学习因子α＝0.5、折扣因子γ＝0.5、学习速率δ₁＝0.1和δ₂＝0.05，密钥长度系数a＝0.8，接收干扰功率系数b＝0.5，安全等级系数c₁＝0.7，危险等级系数c₂＝0.4，密钥更新时延系数c₃＝0.1，Q值矩阵Q＝0_G×H，π＝1/H_G×H，车辆与主动窃听器的路径系数h∈[0,1]；

步骤2：在时隙k，路边单元接收车辆i测量的接收干扰功率

车辆i上一时隙密钥长度

和密钥的持续时间T_i ^(k)，计算其安全等级

和风险等级

构建状态

步骤3：在时隙k，路边单元根据密钥策略π选择车辆密钥更新决策

加密密钥长度

记作密钥管理策略

发送给车群车辆；

步骤4：车群车辆接收密钥管理策略。若

车辆i使用ECDH算法生成长度

的密钥，根据AES加密算法计算密钥更新时延

密钥持续时间时隙；若

车辆i不更新密钥，密钥持续时间加1，

步骤5：路边单元接收车辆反馈的

通过下式计算路边单元收益u^(k)：

步骤6：更新Q值表

步骤7：按照下式更新计算状态计数和平均密钥策略

C(s^(k))←C(s^(k))+1

步骤8：更新学习速率，当前密钥策略的Q值大于平均密钥策略时学习速率δ＝δ₁，反之δ＝δ₂，用过如下公式更新密钥策略

步骤9：重复步骤2～8，直至路边单元车群车辆的窃听拦截率大于95％且密钥更新时延小于2ms。

现有密钥管理方法一定程度上保证了加密密钥对的安全性，但是都是针对群会话密钥，没有考虑到主动窃听场景下的用户个性化通信安全。因此，本发明为了保证车群内的车辆间通信安全，路边单元评估每辆车的安全风险，利用强化学习选择车辆的更新及密钥长度策略，从而保证了车联网车群的通信安全，提高了车群车辆安全通信效率。

Claims (1)

1.基于强化学习的面向快速加解密的车联网密钥管理方法，其特征在于包括以下步骤：

步骤1：初始化参数：

路边单元状态数目G、行为数目H，学习因子α∈[0,1]、折扣因子γ∈[0,1]、学习速率δ₁∈[0,1]和δ₂∈[0,1]，Q值矩阵Q＝0_G×H，密钥策略π＝1/H_G×H，密钥长度系数a∈[0,1]，接收干扰功率系数b∈[0,1]，安全等级系数c₁∈[0,1]，危险等级系数c₂∈[0,1]，密钥更新时延系数c₃∈[0,1]，车群车辆ID，记做i，车辆数目n，1≤i≤n，状态s计数C(s)＝0，主动窃听器干扰功率p∈[0,P_J]，量化为N等级，即p∈{jP_J/N}，1≤j≤N，车辆与主动窃听器的路径系数h∈[0,1]，车辆的接收干扰功率y＝hp，车辆使用AES加密算法加密通信内容，可选择的加密密钥长度有W种，记作{l₁,l₂,...,l_W}；

步骤2：在时隙k，路边单元接收车辆i测量的接收干扰功率

车辆i上一时隙密钥长度

和密钥的持续时间

计算车辆的安全等级

和风险等级

构建状态

步骤3：在时隙k，路边单元根据密钥策略π选择车辆密钥更新决策

加密密钥长度

记作密钥管理策略

发送给车群车辆；

步骤4：车群车辆接收密钥管理策略；若

车辆i使用ECDH算法生成长度

的密钥，根据AES加密算法计算密钥更新时延

若

车辆i不更新密钥，

步骤5：路边单元接收车辆反馈的

通过下式计算路边单元收益u^(k)：

步骤6：更新Q值表：

步骤7：按照下式更新计算状态计数和平均密钥策略：

步骤8：更新学习速率，当前密钥策略的Q值大于平均密钥策略时学习速率δ＝δ₁，反之δ＝δ₂，用过如下公式更新密钥策略：

步骤9：重复步骤2～8，直至路边单元车群车辆的窃听拦截率大于r且密钥更新时延小于t。