CN117675054A - 一种多域联合的抗干扰智能决策方法及系统 - Google Patents

Abstract

本申请公开了一种多域联合的抗干扰智能决策方法及系统，首先对无人机信道进行频谱感知得到当前频谱空穴情况，然后根据当前频谱空穴情况结合DQN算法确定传输信息，在传输信道上传输数据并检测误码率，若误码率达标则传输成功。最后在传输成功的情况下判断是否在传输持续时间内传输成功，若在则返回传输成功的奖励值，若不在则返回当前已传输的时隙数，通过将传输速率联合码域，由于不同的调制阶数的数据传输速率不同，当调制阶数越大，数据传输速率越高，抗干扰能力就越差。通过最大化调制阶数来最大化数据传输速率，进而增加抗干扰的灵活性和抗干扰性能，提高信息传输效率。

Description

一种多域联合的抗干扰智能决策方法及系统

技术领域

本申请涉及无线通信技术领域，具体而言，涉及一种多域联合的抗干扰智能决策方法及系统。

背景技术

无人机集群通过多机协作能够显著地提升完成任务的效果，例如协同探测、定位等。随着无人平台的快速发展，其已经在各个领域得到了广泛应用。

由于无人机集群具有共享性和开放性的特征，无人机的无线通信很容易受到干扰攻击。面对干扰攻击采取了许多常见的抗干扰措施，例如如跳频、扩频等措施。但是传统的抗干扰方法频谱效率低，并且为了传输的可靠性牺牲了资源利用效率。此外，采用固定或预设的模式，缺乏智能决策能力。同时目前绝大多数抗干扰算法仅从单个频域或者功率域等单个域角度考虑，针对干扰攻击的抗干扰灵活性较差。

发明内容

本申请的目的在于，为了克服现有的技术缺陷，提供了一种多域联合的抗干扰智能决策方法及系统，通过最大化调制阶数来最大化数据传输速率，进而增加抗干扰的灵活性和抗干扰性能，提高信息传输效率。

本申请目的通过下述技术方案来实现：

第一方面，本申请提出了一种多域联合的抗干扰智能决策方法，所述方法包括：

对无人机信道进行频谱感知得到当前频谱空穴情况；

根据当前频谱空穴情况结合DQN算法确定传输信息，所述传输信息包括传输信道、传输持续时间；

在传输信道上传输数据并检测误码率，若误码率达标则传输成功；

在传输成功的情况下判断是否在传输持续时间内传输成功，若在则返回传输成功的奖励值，若不在则返回当前已传输的时隙数。

在一种可能的实施方式中，当前频谱空穴情况通过能量检测法所感知。

在一种可能的实施方式中，所述传输信息还包括功率，所述方法还包括：

设置多个功率等级，每个功率等级对应相应功率。

在一种可能的实施方式中，所述传输信息还包括调制方式，所述调制方式包括：BPSK、QPSK、16QAM和64QAM。

在一种可能的实施方式中，所述方法还包括：

设置多个传输时间等级，每个传输时间等级对应相应传输持续时间。

第二方面，本申请提出了一种多域联合的抗干扰智能决策系统，所述系统包括：

频谱感知模块，用于对无人机信道进行频谱感知得到当前频谱空穴情况；

信息确认模块，用于根据当前频谱空穴情况结合DQN算法确定传输信息，所述传输信息包括传输信道、传输持续时间；

误码率检测模块，用于在传输信道上传输数据并检测误码率，若误码率达标则传输成功；

判断输出模块，用于在传输成功的情况下判断是否在传输持续时间内传输成功，若在则返回传输成功的奖励值，若不在则返回当前已传输的时隙数。

在一种可能的实施方式中，当前频谱空穴情况通过能量检测法所感知。

在一种可能的实施方式中，所述传输信息还包括功率，所述系统还包括功率设置模块，所述功率设置模块，用于：

设置多个功率等级，每个功率等级对应相应功率。

在一种可能的实施方式中，所述传输信息还包括调制方式，所述调制方式包括：BPSK、QPSK、16QAM和64QAM。

在一种可能的实施方式中，所述系统还包括时间设置模块，所述时间设置模块，用于：

设置多个传输时间等级，每个传输时间等级对应相应传输持续时间。

上述本申请主方案及其各进一步选择方案可以自由组合以形成多个方案，均为本申请可采用并要求保护的方案；且本申请，（各非冲突选择）选择之间以及和其他选择之间也可以自由组合。本领域技术人员在了解本申请方案后根据现有技术和公知常识可明了有多种组合，均为本申请所要保护的技术方案，在此不做穷举。

本申请的有益效果在于：

第一、采用多域联合的方式，从频域、时域、功率域和码域出发，增加抗干扰的灵活性和抗干扰性能，提高信息传输效率。

第二、由于多域联合，使得动作维数非常大，Q-learning收敛速度会非常慢。值函数近似的方法就是为了解决“维度灾难”的问题。通过用函数而不是Q表来表示状态动作转移价值。DQN算法是Q-Learning和神经网络的结合，将Q-Learning的Q表变成了Q-Network，适合维数较大的情况。

第三、考虑频域并使用深度强化学习进行智能频率决策，选择干扰更少的信道，可以有效规避干扰，有良好的抗干扰作用，能够有效提高通信质量。

第四、考虑切换开销，频繁地切换信道会增大切换开销，联合时域，将无人机的通信时间分为多个等级，使无人机尽可能在同一个信道上进行通信，通过减少信道切换来减少系统开销。

第五、考虑能耗开销，联合功率域，将传输功率分为多个等级，等级越大，功率越大，抗干扰能力也越强，但是能耗也越大，在保证传输数据正确的情况下，尽量减小传输功率来节约资源。

第六、考虑传输速率并联合码域，由于不同的调制阶数的数据传输速率不同，调制阶数越大，数据传输速率越高，抗干扰能力就越差，通过最大化调制阶数在保证数据传输正确的情况下，保证最小的传输功率和最大的传输速率。

附图说明

图1示出了本申请实施例提出的一种多域联合的抗干扰智能决策方法的流程示意图。

图2示出了本申请实施例提出的单无人机抗干扰算法流程图。

图3示出了本申请实施例提出的单无人机抗干扰的仿真流程图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在现有技术中，由于传统的抗干扰方法频谱效率低，并且为了传输的可靠性牺牲了资源利用效率。此外，采用固定或预设的模式会缺乏智能决策能力。因此目前绝大多数抗干扰算法仅从单个频域或者功率域等单个域角度考虑，针对干扰攻击的抗干扰灵活性较差。

为了解决上述的问题，本申请实施例提出的了一种多域联合的抗干扰智能决策方法及系统，通过最大化调制阶数来最大化数据传输速率，进而增加抗干扰的灵活性和抗干扰性能，提高信息传输效率，接下来对其进行详细说明。

请参照图1，图1示出了本申请实施例提出的一种多域联合的抗干扰智能决策方法的流程示意图，该方法的应用场景为通信系统中，该通信系统包括一台无人机、一台接收机和一台干扰机，当无人机向接收机传输数据时，干扰机释放干扰信号对其进行无人机通信破坏，在该系统中共有M（M>1）个信道，该方法包括以下步骤：

步骤S1、对无人机信道进行频谱感知得到当前频谱空穴情况。

其中当前频谱空穴情况表示所有信道的使用与闲置状态，当前频谱空穴情况通过能量检测法所感知，能量检测法是一种比较简单的信号检测方法，属于信号的非相干的检测，能够直接对时域信号采样值求模，之后平方即可得到；或利用FFT转换到频域，之后对频域信号求模平方也可得到。能量检测法的优点是无须任何检测信号的先验知识，属于非相关检测，且简单易实现，对于低信噪比环境下的信号检测具有一定的鲁棒性。

步骤S2、根据当前频谱空穴情况结合DQN算法确定传输信息，传输信息包括传输信道、传输持续时间。

DQN（Deep Q Networks）算法是一种深度增强学习算法，它采用神经网络来学习Q值函数。Q值函数是一个将状态和行动映射到Q值的函数，表示通过执行该行动在特定状态下获得的预期回报，Q值函数是使用深度神经网络进行建模的。

根据当前频谱空穴情况与DQN算法选择传输信道和传输持续时间，其中最优先选择更干净的传输信道能够减少跳频开销，尽可能增加在同一信道传输的持续时间，在保证数据传输正确的情况下，使得传输功率最小或最大。

其中传输信息还包括功率，在抗干扰智能决策方法中还设置多个功率等级，每个功率等级对应相应功率。为了最小化功耗设置多个功率等级，当等级越小时传输功率越小，能够保证传输正确的情况下尽可能减小传输功率。

传输信息还包括调制方式，调制方式包括：BPSK、QPSK、16QAM和64QAM。调制方式决定了传输速率，在保证传输正确的情况下尽可能保证更高的传输速率。

其中功率的奖励权值小于调制方式的奖励权值，目的是尽可能先调节功率再调节调制方式，优先保证更高的传输速率。

抗干扰智能决策方法还设置多个传输时间等级，每个传输时间等级对应相应传输持续时间，能够减少跳频开销。

步骤S3、在传输信道上传输数据并检测误码率，若误码率达标则传输成功。

由于数字信号在传输过程中会受到噪声干扰或敌方干扰，当受到干扰或信号畸变达到一定程度时便会不可避免地产生差错。在数据通讯的过程中，如果发送的信号是“1”而接受到的信号却是“0”，表明产生了一个差错，该差错为误码。而误码率表示在一定时间内受到的数字信号中发生差错的比特数与同一时间所受到的数字信号的总比特数之比，其是衡量数据在规定时间内数据传输精确性的指标。

以误码率作为判断依据，在选定的信道上进行传输数据时如果误码率达标，则默认此次传输成功，若误码率不达标则默认此次传输失败。

步骤S4、在传输成功的情况下判断是否在传输持续时间内传输成功，若在则返回传输成功的奖励值，若不在则返回当前已传输的时隙数。

如果在选定传输持续时间内，每一个时隙都传输成功，才表示此次传输持续时间的选择是正确的，根据传输时间等级的不同返回不同的奖励，传输时间越长奖励值越大，返回传输成功的奖励值；

在选定传输时间内，如果受到敌方干扰导致传输失败，则直接中断在此信道的传输，返回当前已经传输的时隙数，返回的奖励值为零。

在切换信道时将奖励值减去一个小于通信成功最小奖励的正数。

在一种可能的实施方式中，预先设置状态：将所有通道的当前状态初始化为0，如果通道的当前状态为1则表示无人机占用当前通道进行通信，通道的当前状态为0则表示当前通道空闲，通道的数量为c，将设置的可选信道、持续时间、功率和调制方式作为一个集合，其中C={1,2,3,...,c}表示可选信道，D={1,2,...,d}表示持续时间，P={1,2,...,p}表示功率等级，M={1,2,...,m}表示调制等级，k表示传输数据的组数，因此将动作空间的大小定义为CxDxPxM，将奖励R设置为：/>，其中/>为传输持续时间，/>为传输功率等级（power transmit），/>为调制阶数等级（modulation），/>传输功率等级的权重，/>为调制阶数等级的权重（/>＞/>），尽量保证数据的传输速率，先调节传输功率，再调节调制等级。如果切换信道，则R=R-y，y为小于通信成功最小奖励的正数。

请参照图2，图2示出了本申请实施例提出的单无人机抗干扰算法流程图，单无人机抗干扰算法流程为：算法的输入为训练数据和经验池，输出为最优的策略估计，首先建立估值神经网络、目标神经网络和经验池，初始化最大迭代次数N和每轮最大时隙数t=-1，每轮循环时隙数加一（t=t+1），在每个时隙开始时，无人机首先对信道进行频谱感知，使用感测结果通过DQN决定当前时隙的信道、持续时间、发射功率和调制方式，接下来通过通信系统和传输信道后判断误码率是否达标，如果达标则表示在所有的传输时间内没有干扰，那么将奖励按时隙进行叠加，每一轮的奖励为。如果与干扰冲突，直接中断发送，返回当前经过的传输时间，并且返回奖励值为R=0。返回给DQN当前状态和奖励，DQN根据当前状态选择下一时刻的信道、在此信道的传输时间、传输功率以及调制方式。再次与传输环境交互后，如果这一时隙和上一时隙的信道不同，即切换了信道，则初始奖励为返回奖励R-x。

在另一种可能的实施例中，单无人机抗干扰仿真流程为：无人机首先生成基带数据，将要传输的数据用DQN算法选择的调制方式进行调制：当调制等级为1时选择的调制方式为BPSK，调制等级为2时选择的调制方式为QPSK，调制等级为3时选择的调制方式为16QAM，调制等级为4时选择的调制方式为64QAM。

调制完成后，用DQN算法选择的发射功率等级在所选择的信道发射功率。其中发射功率为：P=Pmin+(y(t)/Y)*(Pmax-Pmin)，其中Pmax表示最大发射功率，Pmin表示最小发射功率，Y为功率等级的数量，y(t)表示在第t个时隙选择的功率等级。

基于图2请参照图3，图3示出了本申请实施例提出的单无人机抗干扰的仿真流程图。首先判断是否切换信道，如果目前选择的信道和上一次选择的一样则表示没有切换信道，设置初始奖励为0，若切换信道则设置初始奖励为-x，接下来设置持续时间为0，最大持续时间为Z，执行t=t+1，利用通信系统传输之后判断是否成功通信，若成功则执行，判断持续持时间是否达到最大持续时间，若达到则结束，若未达到则继续进行下次循环。若未成功通信则/>，结束流程。

接收机接受到数据后进行解调，计算误码率，如果误码率小于，则认为数据传输成功，奖励值为数据传输成功的奖励，然后判断是否达到最大的通信持续之间，如果达到，则返回最终的奖励值，如果没有达到，则下一轮通信继续在当前信道进行，并将每轮得到的奖励值进行累加。如果误码率不达标，则认为数据传输失败，返回奖励值为零，返回在当前信道已经传输的时隙数并终止在当前信道的传输，重新进行动作选择。

与现有技术相比，本申请实施例具有以下有益效果：

第一、采用多域联合的方式，从频域、时域、功率域和码域出发，增加抗干扰的灵活性和抗干扰性能，提高信息传输效率。

第二、由于多域联合，使得动作维数非常大，Q-learning收敛速度会非常慢。值函数近似的方法就是为了解决“维度灾难”的问题。通过用函数而不是Q表来表示状态动作转移价值。DQN算法是Q-Learning和神经网络的结合，将Q-Learning的Q表变成了Q-Network，适合维数较大的情况。

第三、考虑频域并使用深度强化学习进行智能频率决策，选择干扰更少的信道，可以有效规避干扰，有良好的抗干扰作用，能够有效提高通信质量。

第四、考虑切换开销，频繁地切换信道会增大切换开销，联合时域，将无人机的通信时间分为多个等级，使无人机尽可能在同一个信道上进行通信，通过减少信道切换来减少系统开销。

第五、考虑能耗开销，联合功率域，将传输功率分为多个等级，等级越大，功率越大，抗干扰能力也越强，但是能耗也越大，在保证传输数据正确的情况下，尽量减小传输功率来节约资源。

第六、考虑传输速率并联合码域，由于不同的调制阶数的数据传输速率不同，调制阶数越大，数据传输速率越高，抗干扰能力就越差，通过最大化调制阶数在保证数据传输正确的情况下，保证最小的传输功率和最大的传输速率。

下面给出一种多域联合的抗干扰智能决策系统可能的实现方式，其用于执行上述实施例及可能的实现方式中示出的抗干扰智能决策方法各个执行步骤和相应技术效果，该系统包括：

频谱感知模块，用于对无人机信道进行频谱感知得到当前频谱空穴情况；

信息确认模块，用于根据当前频谱空穴情况结合DQN算法确定传输信息，所述传输信息包括传输信道、传输持续时间；

误码率检测模块，用于在传输信道上传输数据并检测误码率，若误码率达标则传输成功；

判断输出模块，用于在传输成功的情况下判断是否在传输持续时间内传输成功，若在则返回传输成功的奖励值，若不在则返回当前已传输的时隙数。

在一种可能的实施方式中，当前频谱空穴情况通过能量检测法所感知。

在一种可能的实施方式中，所述传输信息还包括功率，所述系统还包括功率设置模块，所述功率设置模块，用于：

设置多个功率等级，每个功率等级对应相应功率。

在一种可能的实施方式中，所述传输信息还包括调制方式，所述调制方式包括：BPSK、QPSK、16QAM和64QAM。

在一种可能的实施方式中，所述系统还包括时间设置模块，所述时间设置模块，用于：

设置多个传输时间等级，每个传输时间等级对应相应传输持续时间。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种多域联合的抗干扰智能决策方法，其特征在于，所述方法包括：

对无人机信道进行频谱感知得到当前频谱空穴情况；

根据当前频谱空穴情况结合DQN算法确定传输信息，所述传输信息包括传输信道、传输持续时间；

在传输信道上传输数据并检测误码率，若误码率达标则传输成功；

在传输成功的情况下判断是否在传输持续时间内传输成功，若在则返回传输成功的奖励值，若不在则返回当前已传输的时隙数。

2.如权利要求1所述的抗干扰智能决策方法，其特征在于，当前频谱空穴情况通过能量检测法所感知。

3.如权利要求1所述的抗干扰智能决策方法，其特征在于，所述传输信息还包括功率，所述方法还包括：

设置多个功率等级，每个功率等级对应相应功率。

4.如权利要求1所述的抗干扰智能决策方法，其特征在于，所述传输信息还包括调制方式，所述调制方式包括：BPSK、QPSK、16QAM和64QAM。

5.如权利要求1所述的抗干扰智能决策方法，其特征在于，所述方法还包括：

设置多个传输时间等级，每个传输时间等级对应相应传输持续时间。

6.一种多域联合的抗干扰智能决策系统，其特征在于，所述系统包括：

频谱感知模块，用于对无人机信道进行频谱感知得到当前频谱空穴情况；

信息确认模块，用于根据当前频谱空穴情况结合DQN算法确定传输信息，所述传输信息包括传输信道、传输持续时间；

误码率检测模块，用于在传输信道上传输数据并检测误码率，若误码率达标则传输成功；

判断输出模块，用于在传输成功的情况下判断是否在传输持续时间内传输成功，若在则返回传输成功的奖励值，若不在则返回当前已传输的时隙数。

7.如权利要求6所述的抗干扰智能决策系统，其特征在于，当前频谱空穴情况通过能量检测法所感知。

8.如权利要求6所述的抗干扰智能决策系统，其特征在于，所述传输信息还包括功率，所述系统还包括功率设置模块，所述功率设置模块，用于：

设置多个功率等级，每个功率等级对应相应功率。

9.如权利要求6所述的抗干扰智能决策系统，其特征在于，所述传输信息还包括调制方式，所述调制方式包括：BPSK、QPSK、16QAM和64QAM。

10.如权利要求6所述的抗干扰智能决策系统，其特征在于，所述系统还包括时间设置模块，所述时间设置模块，用于：

设置多个传输时间等级，每个传输时间等级对应相应传输持续时间。