CN114615672B - 一种基于统计信息的协作物理层安全增强方法 - Google Patents

Abstract

本发明公开了一种基于统计信息的协作物理层安全增强方法，构建无线传输系统模型；整个通信过程采用了两时隙的方式进行信息传输；构造以协作干扰功率与无人机部署位置为优化变量，联合优化协作干扰功率与无人机的位置部署使得私密速率达到最大化；在无人机中继固定部署的条件下，通过双向搜索方法来求解优化问题，优化干扰功率最大化私密速率；在最优协作干扰功率的条件下，使用深度强化学习来求解无人机部署的优化问题，通过DQN算法逼近无人机的最优部署。本发明无人机部署方便，不受复杂地形和障碍物的限制；通信适用性强、信息传输质量高。

Description

一种基于统计信息的协作物理层安全增强方法

技术领域

本发明属于无人机通信技术领域，具体涉及一种基于统计信息的协作物理层安全增强方法。

背景技术

目前，随着5G网络的快速发展和部署，学术界和工业界对无人机表现出极大的关注。无人机具有成本低、部署方便等优点，在军事和民用领域都有其广泛的应用。特别是，它可用作无线传感器节点，中继站或移动基站等。无人机通常用于协助复杂多变的环境中的通信。但是，由于飞行环境中的不确定因素可能会降低无人机通信系统的可靠性，从而影响通信质量。因此，提高涉及无人机的网络性能具有重要意义。

无人机技术发展迅速，无人机辅助无线通信的使用引起了学术界和工业界的广泛关注。但是，由于无线通信的开放性和广播操作，通信范围内的所有节点都可以接收到源发送的信号。因此，无线通信完全暴露给窃听者，从而容易受到恶意攻击。此外，无人机与地面节点之间的通信通常建立在视距信道内，这虽然促进了合法传输，但也加剧了安全风险。因此，开发无人机通信在存在恶意窃听者情况下的反窃听通信至关重要。一般情况下，当合法信道优于窃听信道时，可以保证无人机通信的防窃听传输，这提供了完美的保密性，防止窃听者获取机密信息。对此，物理层安全技术已被广泛用于增强无人机通信的信息安全性。特别是无人机可以作为发射机、移动中继或接收机，帮助地面用户交换信息，同时保证通信安全。

另一方面，人工智能作为无线通信领域新兴的研究方向之一，致力于寻求关键技术突破，降低实现复杂度，进一步提升通信系统的传输性能。近年来，作为机器学习理论的一个重要分支，深度强化学习在发射功率控制、信道估计、信息安全等各个研究领域得到了广泛的应用。深度Q网络专为离线策略而设计，它强调如何根据环境状态的反馈采取行动以最大化预期收益。因此，深度学习技术尤其在3D空间中环境快速变化和交互复杂的无人机通信中显得很有前景，并且在无人机通信的策略设计中越来越受欢迎。

现有的大部分关于无人机中继增强的通信安全很多都假设在完全信道状态信息下进行研究，而对于实际情况来说，信息在传输过程中往往会受到估计误差、信道干扰等因素的影响，获取完整的信道状态信息相当复杂。统计信息导致信息传输的安全性无法得到很好保证。此外对于针对于无人机位置部署的优化，大部分研究的方法运用到实际中会耗费很大的计算资源。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于统计信息的协作物理层安全增强方法，无人机部署方便，机动灵活，不受复杂地形和障碍物的限制；并且成本低廉、可靠性高；实际通信适用性强、信息传输质量高。

本发明采用以下技术方案：

一种基于统计信息的协作物理层安全增强方法，包括以下步骤：

S1、构建无线传输系统模型；

S2、根据步骤S1构建的无线传输系统模型，采用两时隙的方式进行信息传输，对无人机中继与地面源节点、目的节点以及窃听节点间的信道增益进行建模，得到目的节点及窃听者接收信号的表达式，根据窃听者的瞬时信噪比计算无人机中继通信系统的私密速率；

S3、构造以协作干扰功率与无人机部署位置为优化变量，以最大化步骤S2得到的无人机中继通信系统的私密速率为目标函数的优化模型；

S4、在无人机中继固定部署的条件下，通过双向搜索方法求解步骤S3的优化模型，根据优化模型对干扰功率进行优化，实现私密速率最大化；

S5、利用步骤S4优化后的干扰功率，使用深度强化学习求解无人机部署的优化问题，在DQN算法中无人机选择Q值最大化的动作，更新无人机中继的部署位置直至最优位置，以最大化无人机中继通信系统的私密速率。

具体的，步骤S1中，无线传输系统模型包括源节点S，目的节点D，UAV中继R和窃听者E，源节点S向UAV中继R发送信号，UAV中继R将信号放大并转发到目的节点D，目标为在部分CSI的情况下通过联合优化干扰功率与无人机的位置部署，以最大限度的提高私密速率。

具体的，步骤S2中，在第一个时隙中，源节点S将机密信息发送给UAV中继R，机密信息被窃听者E截获，目的节点D发出一个人工干扰信号；在第二时隙中，源节点S处于静默状态，UAV中继R将第一时隙接收到的信号通过AF协议转发到目的节点D，消息被窃听者E窃听；

窃听者的瞬时信噪比γ_E为：

无人机中继通信系统的私密速率R_S为：

其中，γ_D，和/>分别为目的节点以及两个时隙窃听者的瞬时SINR，P_S，P_D，P_R分别为源节点，目的节点，无人机中继的发射功率，α_SE，α_DE，α_SR，α_RE，α_DR，α_SR分别为各通信链路的信噪比，R_D为合法信道容量，R_E为窃听信道容量。

具体的，步骤S3中，以最大化无人机中继通信系统的私密速率为目标函数的优化模型具体为：

R_S

s.t.P_out≤κ

0≤R_S≤R_th

其中，κ表示中断概率阈值，(x_u,y_u)表示无人机在考虑区域中的水平位置，P_D为目的节点的发射功率，R_S为私密速率，P_out为保密中断概率，R_th表示目标私密速率，/>为目的节点最大允许的发射功率。

具体的，步骤S4中，利用双向搜索方法求解所得的最优干扰功率即当前固定无人机位置的功率分配方案，优化干扰功率最大化私密速率如下：

R_S

s.t.P_out≤κ

0≤R_S≤R_th

其中，为最优干扰功率，R_S为私密速率，P_out为保密中断概率，κ为中断概率阈值，R_th为目标私密速率，P_D为目的节点的发射功率。

进一步的，双向搜索方法具体为：

S401、设置P_D的最小值P_min和最大值P_max，P_min＝0，定义阈值ε；

S402、令如果/>则P_max＝P^*，否则P_min＝P^*；

S403、若|P_max-P_min|＜ε，得到最优的干扰功率P^*，完成无人机中继通信系统的功率分配策略；否则重复进行步骤S402。

具体的，步骤S5具体为：

S501、对无人机的网络拓扑和回放记忆以及权值θ和θ′的动作值函数Q和目标网络Q′进行初始化；

S502、对当前拓扑下的信道状态参数进行归一化处理，作为网络输入；

S503、使用贪心策略，以阈值ε的概率选择一个随机动作z_t；否则以1-ε的概率选择动作z_t←max_zQ(s_t,z,θ)；

S504、在模拟器中执行步骤S503中的随机动作z_t，获得奖励r_t并更新到一个新的状态s_t+1；

S505、将当前状态、动作、转换和下一状态的转换结果(s_t,z_t,r_t,s_t+1)储存到回放记忆中；

S506、从步骤S505的回放记忆中随机采样一个转换样本数据(s_j,z_j,r_j,s_j+1)；

S507、在飞行区域内最大化即时奖励如下：

S508、使用随机梯度下降算法更新均方误差损失函数(y_j-Q(φ_j,z_j,θ))²；

S509、每隔固定步数更新目标网络的参数，直至找到无人机实现最优部署。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种协作物理层安全增强方法，首先在无人机中继固定部署的条件下，对接收机发射的协作干扰功率进行优化，以实现最大化私密速率；并且针对无人机位置部署的优化问题，使用深度强化学习来求解，在DQN算法中无人机选择Q值最大化的动作，更新无人机中继的部署位置直至最优位置，以最大化系统的私密速率，确保最佳的通信效果﹐从而保证了通信的可靠性；符合实际情况。无人机部署方便，机动灵活，不受复杂地形和障碍物的限制；并且成本低廉、可靠性高；实际通信适用性强、信息传输质量高。

进一步的，结合无人机中继与协作干扰构建的两时隙无线传输系统模型包括源节点S，目的节点D，UAV中继R和窃听者E，源节点S向UAV中继R发送信号，UAV中继R将信号放大并转发到目的节点D，目标为在部分CSI的情况下通过联合优化干扰功率与无人机的位置部署，以最大限度的该系统的提高私密速率。

进一步的，所述基于统计信息的协作物理层安全增强方法根据构建的传输系统模型计算得到无人机接收信号以及目的节点的接收信号，及源节点到目的节点传输链路的私密速率；本系统的整个通信过程采用了两时隙的方式进行信息传输。在第一个时隙中，S将机密信息发送给R，该信息会被E截获。与此同时，D发出一个人工干扰信号，意图中断窃听者对机密信息的意外接收，但是由于全向传输，这个也会对无人机中继的信息接收产生影响。在第二时隙中，S处于静默状态，R将第一时隙接收到的信号通过AF协议转发到D，同样该消息会被窃听者窃听。窃听者将两个时隙接收到的信号组合起来以增强窃听，从而给合法传输带来更严峻的挑战。在这方面，采用最大合并比的方法来合并两个时隙中窃听到的消息。

进一步的，基于统计信息的协作物理层安全增强方法由于在实际的通信环境中，获取完整的信道状态信息相当复杂。并且信息在传输过程中往往会受到估计误差、信道干扰等因素的影响。因此，考虑使用部分CSI进行安全通信，假设与窃听者相关的地面通信链路只能获得部分CSI。在这种情况下，认为与窃听者相关的地面信道只是统计的CSI。假设位于地面的源到窃听者和目的到窃听者信道是独立的瑞利平坦衰落。相应地，先前定义的信噪比服从指数分布，即其中λ_XE表示从X到E的噪声功率的大尺度衰落，这里X∈{S,D}。对于涉及窃听者的地面通信信道，尽管瞬时CSI是未知的，但假设信道统计是可用的。因此，引入保密中断概率，将中断概率作为系统性能指标推导了中断概率的闭合表达式。由于中断涉及窃听者窃听链路和干扰链路的不确定性，指定中断约束来表示安全需求，构造以协作干扰功率与无人机部署位置为优化变量，以最大化无人机中继通信系统的私密速率为目标函数的优化模型，(x_u,y_u)表示无人机在考虑区域/>中的水平位置，由于目标函数及约束的非凸性，这是一个非凸问题求解困难，因此将其分解为内外两个独立的子问题求解，内层为干扰功率优化，外层为无人机部署。

进一步，所述基于统计信息的协作物理层安全增强方法在无人机中继固定部署的条件下，考虑干扰功率的权衡问题，利用双向搜索算法求解所得的最优干扰功率即当前固定无人机位置的功率分配方案，最优干扰功率为

进一步，针对干扰功率的权衡问题，为了最大化系统的私密速率，首先分析私密速率的特性；因此考虑采用双向搜索算法来求解优化问题，优化干扰功率最大化私密速率。

进一步，所述基于统计信息的协作物理层安全增强方法在最优协作干扰功率的条件下，由于无人机的位置部署与不同信道状态之间的关系复杂，求解比较困难，文献中现有的主要是穷举搜索或地理启发式的方法。其次，部署优化问题包含着主动协作干扰的优化策略，这进一步阻碍了有效的轨迹求解。因此使用深度强化学习来求解无人机部署的优化问题，在DQN算法中无人机选择Q值最大化的动作，更新无人机中继的部署位置直至最优位置，以最大化系统的私密速率。

综上所述，本发明无人机部署方便，不受复杂地形和障碍物的限制；通信适用性强、信息传输质量高。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明构建的无线传输系统模型图；

图2为本发明流程上图；

图3为本发明系统示意图；

图4为本发明无人机中继通信系统的私密速率与中断阈值的关系示意图；

图5为本发明无人机中继通信系统的私密速率与无人机飞行高度的关系示意图。

其中：1.安全传输模块；2.通信模块；3.优化模块；4.功率模块；5.部署模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明提供了一种基于统计信息的协作物理层安全增强方法，在部分信道状态信息的情况下，构建无线传输系统模型，通过部署无人机中继来增强地面源节点到目的节点的信息传输，同时防止地面窃听者的窃听；整个通信过程采用了两时隙的方式进行信息传输。在第一个时隙中，S将机密信息发送给R，该信息会被E截获。与此同时，D发出一个人工干扰信号，意图中断窃听者对机密信息的意外接收，但是由于全向传输，这个也会对无人机中继的信息接收产生影响。在第二时隙中，S处于静默状态，R将第一时隙接收到的信号通过AF协议转发到D，同样该消息会被窃听者窃听。构造以协作干扰功率与无人机部署位置为优化变量，联合优化协作干扰功率与无人机的位置部署使得私密速率达到最大化；在无人机中继固定部署的条件下，通过双向搜索方法来求解优化问题，优化干扰功率最大化私密速率；在最优协作干扰功率的条件下，使用深度强化学习来求解无人机部署的优化问题，通过DQN算法逼近无人机的最优部署。本发明无人机部署方便，不受复杂地形和障碍物的限制；通信适用性强、信息传输质量高。

请参阅图2，本发明一种基于统计信息的协作物理层安全增强方法，包括以下步骤：

S1、构建无线传输系统模型，通过部署无人机中继来增强地面源节点到目的节点的信息传输，同时防止地面窃听者的窃听，联合优化协作干扰功率与无人机的位置部署使得私密速率达到最大；

请参阅图1，本发明构建的无线通信系统模型图，包括源节点S，目的节点D，UAV中继R和窃听者E，源节点S向UAV中继R发送信号，UAV中继R将信号放大并转发到目的节点D，目标为在部分CSI的情况下通过联合优化干扰功率与无人机的位置部署，以最大限度的提高私密速率。

S2、根据构建的无线传输系统模型，对无人机中继与地面源节点、目的节点以及窃听节点间的信道增益进行建模，得到目的节点及窃听者接收信号的表达式，计算出瞬时信噪比和私密速率；

构建以无人机为中继的地面源节点到目的节点通信系统的信道模型，并且根据无人机接收信号以及目的节点的接收信号，计算源节点到目的节点传输链路的私密速率；本系统的整个通信过程采用了两时隙的方式进行信息传输。在第一个时隙中，S将机密信息发送给R，该信息会被E截获。与此同时，D发出一个人工干扰信号，意图中断窃听者对机密信息的意外接收，但是由于全向传输，这个也会对无人机中继的信息接收产生影响。在第二时隙中，S处于静默状态，R将第一时隙接收到的信号通过AF协议转发到D，同样该消息会被窃听者窃听。

在第一个时隙中，R和E接收到的信号可以表示为：

其中，P_S是源节点的发射功率，P_D是目的节点发射干扰信号的功率，z_S是源节点发送的信号，z_D是目的节点发送的干扰信号；且它们都是归一化功率n_R是无人机中继的接收噪声，/>是第一个时隙中窃听者的接收噪声，两者均为复杂加性高斯白噪声，功率为/>

计算第一个时隙中窃听者E的信干噪比如下所示：

在第二时隙，R将第一时隙接收到的信号通过AF协议放大转发给D，其放大系数为β，R的传输功率为P_R。

因此，计算得到放大系数β为：

在第二个时隙中，计算D和E接收到的信号为：

其中，n_D是目的节点的接收噪声，是第二个时隙中窃听者的接收噪声。假设目的节点对第一个时隙中的人工干扰信号有先验知识，将其从接收信号中完全去除，则目的节点接收信号进一步写为：

定义α_XY为信噪比，表示为：

第一时隙E的SINR重写为：

第二时隙中目标节点和窃听者的瞬时SINR为：

将β代入上述推导公式，D和E的SINR可以改写为：

窃听者将两个时隙接收到的信号组合起来以增强窃听，从而给合法传输带来更严峻的挑战。在这方面，采用最大合并比的方法来合并两个时隙中窃听到的消息，因此E的SINR写为：

根据上述获得的信噪比，合法用户可达到的私密速率表示为：

S3、构造以协作干扰功率与无人机部署位置为优化变量，以最大化无人机中继通信系统的私密速率为目标函数的优化模型；

由于在实际的通信环境中，获取完整的信道状态信息相当复杂。并且信息在传输过程中往往会受到估计误差、信道干扰等因素的影响。因此，考虑使用部分CSI进行安全通信，假设与窃听者相关的地面通信链路只能获得部分CSI。在这种情况下，认为与窃听者相关的地面信道只是统计的CSI。

设位于地面的源到窃听者和目的到窃听者信道是独立的瑞利平坦衰落。相应地，先前定义的信噪比服从指数分布，即：

其中，λ_XE表示从X到E的噪声功率的大尺度衰落，这里X∈{S,D}。

对于涉及窃听者的地面通信信道，尽管瞬时CSI是未知的，但假设信道统计是可用的。因此，引入保密中断概率，将中断概率作为系统性能指标推导了中断概率的闭合表达式。保密中断概率是指保密容量小于给定阈值的概率，可以表示为：

P_out＝Pr{R_S＜R_th}

其中，R_th表示目标私密速率。

由于中断涉及窃听者窃听链路和干扰链路的不确定性，指定中断约束来表示安全需求，构造以协作干扰功率与无人机部署位置为优化变量，以最大化无人机中继通信系统的私密速率为目标函数的优化模型：

R_S

s.t.P_out≤κ

0≤R_S≤R_th

其中，κ表示中断概率阈值，(x_u,y_u)表示无人机在考虑区域中的水平位置。

S4、在无人机中继固定部署的条件下，通过双向搜索方法来求解优化问题，优化干扰功率最大化私密速率；

在无人机中继固定部署的条件下，通过双向搜索方法来求解优化问题，优化干扰功率最大化私密速率，其干扰功率的优化问题如下：

R_S

s.t.P_out≤κ

0≤R_S≤R_th

利用双向搜索方法求解所得的最优干扰功率即当前固定无人机位置的功率分配方案，最优干扰功率为

S401、初始化：设置P_D的最小值和最大值，给定为P_min和P_max，其中P_min＝0；定义足够小的阈值ε；

S402、令R_S由第二步给出，如果/>则P_max＝P^*，否则P_min＝P^*；

S403、若|P_max-P_min|＜ε，得到最优的干扰功率P^*，完成无人机中继通信系统的功率分配策略；否则重复进行步骤S402。

S5、在最优协作干扰功率的条件下，使用深度强化学习来求解无人机部署的优化问题，在DQN算法中无人机选择Q值最大化的动作，更新无人机中继的部署位置直至最优位置，以最大化系统的私密速率。

无人机位置部署的优化问题如下：

R_S

使用深度强化学习来求解无人机部署的优化问题，在DQN算法中无人机选择Q值最大化的动作，更新无人机中继的部署位置直至最优位置，以最大化系统的私密速率。

S501、初始化

对无人机的网络拓扑和回放记忆以及权值θ和θ′的动作值函数Q和目标网络Q′进行初始化；

S502、对当前拓扑下的信道状态参数进行归一化处理，作为网络输入；

S503、使用贪心策略，以阈值ε的概率选择一个随机动作z_t；否则以1-ε的概率选择动作z_t←max_zQ(s_t,z,θ)；

S504、在模拟器中执行动作z_t，获得奖励r_t并更新到一个新的状态s_t+1；

S505、将当前状态、动作、转换和下一状态的转换结果(s_t,z_t,r_t,s_t+1)储存到回放记忆中；

S506、从步骤S505的回放记忆中随机采样一个转换样本数据(s_j,z_j,r_j,s_j+1)；

S507、在飞行区域内内最大化即时奖励

S508、使用随机梯度下降算法更新均方误差损失函数(y_j-Q(φ_j,z_j,θ))²；

S509、每隔固定步数更新目标网络的参数，即θ′＝θ，直至找到无人机的最优部署。

请参阅图3，本发明再一个实施例中，提供一种协作物理层安全增强系统，该系统能够用于实现上述协作物理层安全增强方法，具体的，该协作物理层安全增强系统包括传输模块、通信模块、优化模块、功率模块以及部署模块。

其中，传输模块，构建无线传输系统模型；

传输模块，构建无线传输系统模型；

通信模块，根据传输模块构建的无线传输系统模型，采用两时隙的方式进行信息传输，对无人机中继与地面源节点、目的节点以及窃听节点间的信道增益进行建模，得到目的节点及窃听者接收信号的表达式，根据窃听者的瞬时信噪比计算无人机中继通信系统的私密速率；

优化模块，构造以协作干扰功率与无人机部署位置为优化变量，以最大化通信模块得到的无人机中继通信系统的私密速率为目标函数的优化模型；

功率模块，在无人机中继固定部署的条件下，通过双向搜索方法求解优化模块的优化模型，根据优化模型对优化干扰功率进行优化，实现私密速率最大化私；

部署模块，利用功率模块优化后的干扰功率，使用深度强化学习求解无人机部署的优化问题，在DQN算法中无人机选择Q值最大化的动作，更新无人机中继的部署位置直至最优位置，以最大化无人机中继通信系统的私密速率。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图4，给出了无人机中继网络通信系统的安全性能与中断阈值的关系示意图，本发明的方案在不同中断阈值下实现的私密速率，由于在部分CSI的情况下引入了保密中断概率，因此特别强调了在部分CSI的情况下，三种方案安全性能的对比。从图4中可以看到，随着中断阈值的放宽，三种方案的保密安全速率逐渐提高。由于中断阈值κ越接近1，越能有效的削弱协作干扰下的窃听效果，从而提高系统的安全性能。并且所提方案的性能明显优于其他两种方案，这是因为共同考虑了无人机中继辅助地面通信和协作干扰，可以有效地迷惑窃听者，从而进一步提高了系统的安全性能。

请参阅图5，给出了无人机中继网络通信系统的安全性能与无人机飞行高度的关系示意图，从图5中看到，有无人机中继存在的情况下，随着无人机飞行高度的增大，系统的保密安全速率逐渐降低。这种现象的原因是随着无人机飞行高度的增大，无人机与地面节点的距离也逐渐增大，信道衰落变大，通信困难。在这方面，无人机作为中继的有效性减小，并且进一步导致了系统安全性能的下降。同样，由于来自接收机的主动协作干扰会降低窃听者的窃听能力，因此所提方案的性能优于基线方案。另外，没有无人机中继直接传输方案的保密安全速率保持不变，因为这种直传的情况没有无人机中继的存在，所以私密速率与无人机的飞行高度无关。

综上所述，本发明一种基于统计信息的协作物理层安全增强方法，在涉及窃听者地面通信链路只能获得统计特性的基础上，构建两时隙传输模型，通过双向搜索算法得到最优干扰功率分配策略，并且通过深度强化学习技术，采用DQN算法有效地逼近无人接最优部署，从而显著提升该通信系统的安全传输性能。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (6)

1.一种基于统计信息的协作物理层安全增强方法，其特征在于，包括以下步骤：

S1、构建无线传输系统模型；

S2、根据步骤S1构建的无线传输系统模型，采用两时隙的方式进行信息传输，对无人机中继与地面源节点、目的节点以及窃听节点间的信道增益进行建模，得到目的节点及窃听者接收信号的表达式，根据窃听者的瞬时信噪比计算无人机中继通信系统的私密速率；

S3、构造以协作干扰功率与无人机部署位置为优化变量，以最大化步骤S2得到的无人机中继通信系统的私密速率为目标函数的优化模型；

S4、在无人机中继固定部署的条件下，通过双向搜索方法求解步骤S3的优化模型，根据优化模型对干扰功率进行优化，实现私密速率最大化；

S5、利用步骤S4优化后的干扰功率，使用深度强化学习求解无人机部署的优化问题，在DQN算法中无人机选择Q值最大化的动作，更新无人机中继的部署位置直至最优位置，以最大化无人机中继通信系统的私密速率，具体为：

S501、对无人机的网络拓扑和回放记忆以及权值θ和θ′的动作值函数Q和目标网络Q′进行初始化；

S502、对当前拓扑下的信道状态参数进行归一化处理，作为网络输入；

S503、使用贪心策略，以阈值ε的概率选择一个随机动作z_t；否则以1-ε的概率选择动作z_t←max_zQ(s_t,z,θ)；

S504、在模拟器中执行步骤S503中的随机动作z_t，获得奖励r_t并更新到一个新的状态s_t+1；

S505、将当前状态、动作、转换和下一状态的转换结果(s_t,z_t,r_t,s_t+1)储存到回放记忆中；

S506、从步骤S505的回放记忆中随机采样一个转换样本数据(s_j,z_j,r_j,s_j+1)；

S507、在飞行区域内最大化即时奖励如下：

S508、使用随机梯度下降算法更新均方误差损失函数(y_j-Q(φ_j,z_j,θ))²；

S509、每隔固定步数更新目标网络的参数，直至找到无人机实现最优部署。

2.根据权利要求1所述的基于统计信息的协作物理层安全增强方法，其特征在于，步骤S1中，无线传输系统模型包括源节点S，目的节点D，UAV中继R和窃听者E，源节点S向UAV中继R发送信号，UAV中继R将信号放大并转发到目的节点D，目标为在部分CSI的情况下通过联合优化干扰功率与无人机的位置部署，以最大限度的提高私密速率。

3.根据权利要求1所述的基于统计信息的协作物理层安全增强方法，其特征在于，步骤S2中，在第一个时隙中，源节点S将机密信息发送给UAV中继R，机密信息被窃听者E截获，目的节点D发出一个人工干扰信号；在第二时隙中，源节点S处于静默状态，UAV中继R将第一时隙接收到的信号通过AF协议转发到目的节点D，消息被窃听者E窃听；

窃听者的瞬时信噪比γ_E为：

无人机中继通信系统的私密速率R_S为：

其中，γ_D，和/>分别为目的节点以及两个时隙窃听者的瞬时SINR，P_S，P_D，P_R分别为源节点，目的节点，无人机中继的发射功率，α_SE，α_DE，α_SR，α_RE，α_DR，α_SR分别为各通信链路的信噪比，R_D为合法信道容量，R_E为窃听信道容量。

4.根据权利要求1所述的基于统计信息的协作物理层安全增强方法，其特征在于，步骤S3中，以最大化无人机中继通信系统的私密速率为目标函数的优化模型具体为：

s.t.P_out≤κ

0≤R_S≤R_th

其中，κ表示中断概率阈值，(x_u,y_u)表示无人机在考虑区域中的水平位置，P_D为目的节点的发射功率，R_S为私密速率，P_out为保密中断概率，R_th表示目标私密速率，/>为目的节点最大允许的发射功率。

5.根据权利要求1所述的基于统计信息的协作物理层安全增强方法，其特征在于，步骤S4中，利用双向搜索方法求解所得的最优干扰功率即当前固定无人机位置的功率分配方案，优化干扰功率最大化私密速率如下：

s.t.P_out≤κ

0≤R_S≤R_th

其中，为最优干扰功率，R_S为私密速率，P_out为保密中断概率，κ为中断概率阈值，R_th为目标私密速率，P_D为目的节点的发射功率。

6.根据权利要求5所述的基于统计信息的协作物理层安全增强方法，其特征在于，双向搜索方法具体为：

S401、设置P_D的最小值P_min和最大值P_max，P_min＝0，定义阈值ε；

S402、令如果/>则P_max＝P^*，否则P_min＝P^*；

S403、若|P_max-P_min|＜ε，得到最优的干扰功率P^*，完成无人机中继通信系统的功率分配策略；否则重复进行步骤S402。