CN109597433A - 一种基于复合拦截策略的无人机防控智能决策方法 - Google Patents

Abstract

本发明公开一种基于复合拦截策略的无人机防控智能决策方法，1）当全向阵列天线被动截获、接收到无人机及操作者发射的遥控和图像传输射频信号时，无人机频谱探测系统根据信号解算出无人机速度、方向的定位信息；2）将无人机定位信息或者用户自定义的场景作传输至机器逻辑控制系统，控制系统通过数学模型建立输入到输出之间的联系，控制系统根据输入信息和传输函数计算得输出结果，决策拦截方案对黑飞无人机拦截；3）根据拦截方案，复合拦截系统结合基础拦截手段，对黑飞无人机的拦截和防控；4）将无人机的拦截信息反馈至机器强化学习系统中，通过机器强化学习系统不断优化机器逻辑控制系统的数学算法模型，改进和完善机器逻辑控制系统的决策。

Description

一种基于复合拦截策略的无人机防控智能决策方法

技术领域

本发明涉及无人机飞行防控和人工智能领域，具体是一种基于复合拦截策略的无人机防控智能决策方法。

背景技术

近年来，无论是在军事还是民用领域，无人机的应用都在迅速增加。据不完全统计，仅2017年，无人机在全球市场的销售总量已超过80万架次，其中用于军事领域的无人机在市场份额占到10％左右，而剩余90％左右则被投放到民用领域。目前无人机的发展趋势是更小的体积、更低的价格、更广泛的民用，且无人机已经在快递投送、地形勘探、喷洒农药、电缆巡检等行业中得到了广泛应用，在经济和社会效益方面取得了巨大的成果。但随着无人机的售价进一步走低和使用越来越方便简单，基于个人娱乐和爱好购买无人机的人越来越多，未经申请就超标飞行的“黑飞”现象层出不穷。据不完全统计，截止到2017年7月，我国就有2万架无人机处于“黑飞”状态。黑飞无人机造成的危害也越来越突出。尤其是在军事方面，军事泄密、干扰飞行、坠落伤人、偷拍隐私等“黑飞”带来的安全隐患问题越来越严重，对黑飞无人机的有效监管和防控已经成为空域安全的突出问题。

目前针对黑飞的无人机管控手段有：全频段大功率信号压制、激光武器精准打击、开网抓捕、直升机驱离。全频段大功率信号压制：这种拦截无人机的方式是通过跳频干扰模块产生各频段的大功率跳频干扰信号，再由对应各频段的天线对准无人机发射干扰信号，直接压制掉无人机正常与地面遥控端通信信号(遥控信号和图像回传信号)，同时压制掉无人机正常导航信号，从而使无人机失去操作者控制，达到管制的目的。该方式的不足之处：遥控器信号和导航信号都被干扰掉后，无人机虽然脱离了操作者控制，但是管制者也没办法对其控制，这样会造成无人机坠落地点不明，影响回收再利用。激光武器打击：这种方式就是通过激光武器装置对黑飞无人机发射高能量的激光，直接将无人机在空中摧毁，达到管制的目的。该方式的不足之处：激光武器花费高、燃烧后坠落的无人机不可控，可能会造成二次伤害。开网抓捕：这种方式就是通过弹射装置发射开花弹，然后利用此弹在空中散开的效果进行布网，直接拿下黑飞无人机。该方式的不足之处：这种方式抓捕范围极其有限，在比较开阔一点的区域都不适用。直升机驱离：这种方式就是利用直升机飞行过程中产生的强大气流，使无人机无法保持正常飞行姿态，偏离航向或者失去稳定性而坠毁。该方式的不足之处：这种方式在国内使用不太现实，花费过高、航迹不可控。这些无人机管控手段都有其优点也有其缺点，因此，根据不同场景状况以及无人机数量等信息来智能选择拦截方案显得尤为重要。

综合起来，目前对无人机的拦截手段都太过单一，导致拦截成功率不高，因而，研究结合各个基础拦截手段的复合拦截策略就变得尤为重要。且基于复合拦截策略，我们可以制定更加多样、针对更多作战场景的拦截方案，因此，开发一种基于复合拦截策略的小型无人机防控智能决策方法就很有必要。

发明内容

本发明的目的在于克服现有技术无人机拦截手段单一，人为制订拦截方案不够快速、完善的不足，而提供一种基于复合拦截策略的无人机防控智能决策方法，该方法具有机器智能决策无人机拦截方案、多种无人机拦截手段组合等特点。

实现本发明目的的技术方案是：

一种基于复合拦截策略的无人机防控智能决策方法，包括如下步骤：

1)当全向阵列天线被动截获、接收到无人机及操作者发射的遥控和图像传输射频信号时，无人机频谱探测系统根据这些信号解算出无人机速度、方向的定位信息；

2)将步骤1)得到的无人机定位信息或者用户自定义的场景作为输入，传输至机器逻辑控制系统，控制系统通过数学模型建立无人机定位信息/用户自定义场景为输入到无人机拦截方案为输出之间的联系，控制系统根据输入信息和传输函数计算得到输出结果，决策使用何种拦截方案对黑飞无人机进行拦截；

3)根据步骤2)决策的拦截方案，复合拦截系统将几种基础拦截手段有效的结合，实现对黑飞无人机的拦截和防控；

4)完成步骤3)后，将无人机的拦截信息反馈至机器强化学习系统中，通过机器强化学习系统不断的优化机器逻辑控制系统的数学算法模型，并且改进和完善机器逻辑控制系统的决策，通过多次强化训练使机器逻辑控制系统的决策更加智能、迅速并且准确。

步骤1)的具体方法为：无人机频谱探测系统根据阵列天线接收到的信号计算出无人机的定位信息，无人机频谱探测系统由阵列天线、信号处理机和定位服务器组成，通过阵列天线被动截获和接收无人机发射的遥控和图像传输射频信号，阵列天线采用N个相同的宽带天线，每个天线的安装指向不同，形成覆盖30*N度的天线阵列，选取相邻两个天线，将截获到的两组区域信号输入信号处理机，信号处理机对信号进行处理，若确认信号为无人机发出，则对比两路通道的信号信息，通过定位服务器计算得到无人机方向、速度的定位信息。

所述的N≥2。

步骤2)的具体方法为：机器逻辑控制系统的是根据输入的无人机定位信息，输出一个与之对应的无人机拦截方案，机器逻辑控制系统中采用模糊逻辑控制模型，模糊逻辑控制模型可以表示为A(R，X，Y，M)，A表示一个模糊模型，即描述系统特性的一组模糊条件语句；R表示模糊算法，X表示输入变量值，Y表示输出变量值，M表示所有基本模糊子集的集合，分别确定输入变量值X，确定输出变量值Y，确定模糊算法R，再对输入和输出变量的值进行量化处理，建立好数学模型，通过对从无人机频谱探测系统输入的无人机信息的变量值X进行计算处理，输出对应的无人机拦截方案的量化值Y。

步骤3)的具体方法为：复合拦截系统以四种拦截手段为基础，通过多种基础拦截手段的合理组合运用，实现无人机的复合拦截方案；所述的四种拦截手段分别为无线电压制、卫星导航信号诱导、激光武器和网式拦截；其中激光武器和网式拦截为物理拦截手段，分别利用发射的高能量激光打击拦截无人机或者通过弹射装置发射开花弹，利用此弹在空中散开的效果进行布网，直接拿下黑飞无人机；无线电压制和卫星导航信号诱导的原理是通过无线通信信号使得无人机的遥控器失效，卫星导航信号诱导还对无人机进行控制，达到回收利用的目的。

步骤4)的具体方法为：机器强化学习系统是根据得到的无人机拦截信息，计算本次无人机拦截方案的报酬值，寻找最优策略使下次无人机拦截方案的报酬值变大，机器学习将学习看作试探过程，在强化学习中，Agent选择一个动作α作用于环境，环境接收该动作后发生变化，同时产生一个强化信号r(奖或罚)反馈给Agent，Agent再根据强化信号和环境的当前状态s再选择下一个动作，选择的原则是使受到正的报酬值的概率增大，选择的动作将会影响下一时刻的状态及最终报酬值，寻找最优策略，使得Agent在运行中获得的累积报酬值最大。

本发明提供的一种基于复合拦截策略的无人机防控智能决策方法，有如下有益效果：

1、用阵列天线、信号处理机和定位服务器组成的无人机频谱探测系统能有效探测无人机发射的信号并对无人机进行定位，得到无人机的速度、方向等定位信息，为后面拦截方案的制订提供依据；

2、建立了数学模型，然后将输入的无人机信息和输出的无人机拦截方案进行量化处理，通过一个传输函数联系在一起，使得每输入一个无人机定位信息，都能输出一个无人机拦截方案与之对应；

3、机器智能控制并决策，能有效避免因人为决策带来的失误，且机器通过强化学习能不断改进完善算法模型，提升机器智能决策的性能。

附图说明

图1为一种基于复合拦截策略的小型无人机防控智能决策方法总体架构图；

图2为无人机频谱探测系统框图；

图3为机器逻辑控制系统框图；

图4为机器强化学习系统原理框图。

具体实施方式

下面结合附图和实施例对本发明做进一步阐述，但不是对本发明的限定。

实施例：

一种基于复合拦截策略的无人机防控智能决策方法，总体框图如图1所示，包括如下步骤：

1)通过无人机频谱探测系统对黑飞无人机进行侦测并得到无人机的定位信息，无人机频谱探测系统主要通过全向阵列天线被动截获和接收无人机及操作者发射的遥控和图像传输射频信号，阵列天线采用N个(N≥2，典型实施例为12个)相同的宽带天线，每一个天线的安装指向不同，形成一个覆盖30*N度的天线阵列；实际工作时，选取相邻两个天线，将截获到的两组区域信号输入信号处理机，信号处理机对信号进行处理，若确认信号为无人机发出，则对比两路通道的信号信息，通过定位服务器计算得出无人机的方向、速度等定位信息，其具体实现框图如图2；

2)通过机器逻辑控制系统，对输入进来的无人机定位信息进行处理，输出与之对应的无人机拦截方案；机器逻辑控制系统中采用模糊逻辑控制模型，这是对非线性、时变的被控对象最为有效的途径，其模型框图如图3，一个模糊逻辑控制的模型可以表示为A(R,X,Y,M)，其中A表示一个模糊模型，即描述系统特性的一组模糊条件语句；R表示模糊算法，X表示输入变量值，Y表示输出变量值，M表示所有基本模糊子集的集合；然后分别确定输入变量值X，确定输出变量值Y，确定模糊算法R，再对输入和输出变量的值进行量化处理，这样建立好数学模型，通过对从无人机频谱探测系统输入的无人机信息的量化值X进行计算处理，可以输出对应的无人机拦截方案的量化值Y，具体步骤如下：

2-1)确定输入变量值X

将所有能影响到拦截无人机的量看成一个论域U，这些量有各自不同的特性，有的是表示方位，有的是表示速度，有的表示型号、大小等等，通过这些特性，将所有输入的无人机信息看成一个论域U，分为m个区间，每个区间是一个模糊子集x_i,一共有m个模糊子集。

2-2)确定输出变量值Y

将所有输出的无人机拦截方案看成一个论域Y，假设有n个模糊子集，则在输出论域上随机选择n个点{y1,y2,…,yn}，相对应的输出论域的模糊子集为{Y1，Y2，…,Yn}，并且有：

公式(1)中，为对应于论域上点y_i的输出论域模糊子集的系数，y为论域上未知点，y_i是论域上已知点，其中，i＝1,2,…,n。

这样定义输出模糊子集后，根据加权平均的方法，计算模糊控制算法的输出控制量的公式就为：

公式(2)中，y为输出的变量值，X_m为输入的变量值，为公式(1)中对应于论域上点y_n的相应输出论域模糊子集的系数，y_i为输出论域上已知点。

即若有x个输入变量，y个输出变量，则每个特征点是m*n维实数空间中的一个点，所有的特征点就构成了操作人员所希望的控制器的输入输出关系的控制量。

2-3)量化处理

对系统的输入输出量的值进行量化处理，在本实施例中，输入的信息一般为无人机的速度、方向和用户定义的典型作战场景，像用户定义的作战场景这些信息，不能直接用于作为输入量进行计算，我们应当对其进行处理：比如城市作战场景，那我们可以知道，无人机处在外围环境复杂的区域，周围有很多的干扰的无线电信号；如果为平原作战场景，我们可以知道，无人机所处环境简单，四周广阔，杂波信号干扰少；如果为无人机集群作战场景，我们可以知道，有很多架无人机同时在入侵，且型号、控制信号未必都是一样的。通过这样的处理方式，从各种抽象的作战场景中提炼出无人机信息量的行为叫做量化处理。

2-4)确定模糊算法R

由输入量X到输出量Y的过程叫做映射，映射的具体数学上的表现就叫做模糊算法，通过分析四种无人机拦截手段的特征，我们可以知道，在无人机的拦截中，输入(无人机的各种信息)和输出(拦截方案)通常有这样的对应关系：无人机速度快(输入X1)→无线电压制法或卫星导航诱导法(输出Y1和Y2)，在最短时间内拦截下无人机(输入X2)→无线电压制法或激光武器法(输出Y1或Y3)，黑飞无人机需回收(输入X3)→卫星导航诱导法或无线电压制法+网式拦截法(输出Y2或Y1+Y4)，无人机防控预期成本最低(输入X4)→网式拦截法(输出Y4)，等等，在这样基本的逻辑下，我们确定了模型的基本算法逻辑。

随着输入变量X、输出变量Y、模糊算法R的确定，整个逻辑控制的模型基本建立，只需要通过机器学习不断强化完善模糊算法，就能使控制器决策的成功率越来越高。

3)根据机器逻辑控制系统决策得到的拦截方案，复合拦截系统通过将几种基础拦截手段有效的结合起来，具体实现对黑飞无人机的拦截和防控。复合拦截系统以四种拦截手段为基础，分别为无线电压制、卫星导航信号诱导、激光武器和网式拦截。其中激光武器和网式拦截是物理拦截手段，分别利用发射的高能量激光打击拦截无人机或者通过弹射装置发射开花弹，利用此弹在空中散开的效果进行布网，直接拿下黑飞无人机。而无线电压制和卫星导航信号诱导原理都是通过无线通信信号使得无人机的遥控器失效，区别是卫星导航信号诱导方法还能对无人机进行控制，达到回收利用的目的。无线电压制和卫星导航信号诱导的具体实施过程如下：

3-1)无线电压制

无人机数据链采用跳频通信方式对抗信道中有意或无意的干扰与噪声，跳频通信的初衷是通过不断变换信号传输频率从而躲避敌方干扰源的功率压制干扰，其本质上是通过“躲避”而不是以能量对抗抗干扰手段，其中跳频通信系统的抗干扰能力主要受跳频速度以及跳频带宽影响，跳频速度越快、跳频带宽越宽，抗干扰能力越强，但除受元器件性能和成本的制约外，跳频速率越高，同步性能、抗多径性能等都会下降，另外，跳频宽度也受频率管理相关法律法规和频谱污染等因素约束。目前，常用的跳频宽度在数十千赫兹到数十兆赫兹之间，跳频速率从十几跳每秒到数千跳每秒都有使用，而本发明重点讨论的民用小型无人机数据链通信跳频宽度约为几兆赫兹，跳频速率在100跳每秒以下。因此，小型无人机数据链路跳频通信仍然在抗干扰方面存在一定的局限性，这为我们对其进行干扰提供了突破口。

无线电压制从干扰模式上划分，针对跳频通信的干扰可分为阻塞干扰、跟踪干扰以及多频连续波干扰，不同的干扰模式各有优缺点，可根据实际情况选择合适的干扰方法。

3-2)卫星导航信号诱导

卫星导航信号诱导方法易于让接收机产生错误的定位结果，而且难以检测出自己接收的信号是欺骗信号，具有很强的隐蔽性。该技术不但可以用于如黑飞无人机空管民用市场，更是军用导航战中必不可少的手段。卫星导航信号诱导方法的效果十分出色，但是需要干扰信号与真实信号同步，这不仅仅要准确估计码相位(欺骗信号相关峰与真实信号相关峰不超过1个码片)、载波多普勒频率等参数，还要控制欺骗干扰信号功率。

卫星导航信号诱导方法实施过程可分为四步进行，第一步：使生成的欺骗信号的伪码相位向着真实信号的码相位偏移；第二步：欺骗信号被移动至真实信号的1个码片内，真实信号的相关峰开始发生畸变，这种变化是两者相关峰进行叠加引起的；第三步：当两者相关峰对齐时，欺骗信号凭借功率上的强剥离接收机已经跟踪上的真实GNSS信号；第四步：使得欺骗信号的相关峰逐渐移出当前跟踪点，实现对目标接收机跟踪环路的控制。

当欺骗信号成功进入接收机的跟踪环路后，欺骗系统可通过改变欺骗信号的码相位和多普勒频移实现对接收机环路的控制，达到对目标接收机位置欺骗的目的。

4)根据反馈系统得到的无人机拦截信息，机器强化学习系统计算本次无人机拦截方案的报酬值，并寻找最优策略使得下次无人机拦截方案的报酬值变大。通过不断的机器强化学习优化机器逻辑控制系统的数学算法模型，并且改进和完善机器逻辑控制系统的决策性能，通过多次强化训练达到强化机器逻辑控制系统的目的。机器学习把学习看作试探过程，基本模型如图4所示。在强化学习中，Agent选择一个动作α作用于环境，环境接收该动作后发生变化，同时产生一个强化信号r(奖或罚)反馈给Agent，Agent再根据强化信号和环境的当前状态s再选择下一个动作，选择的原则是使受到正的报酬值的概率增大，选择的动作将会影响下一时刻的状态及最终报酬值。强化学习的目的就是寻找一个最优策略，使得Agent在运行中获得的累积报酬值最大。

在机器强化学习的算法中，本实施例使用的是Q-学习算法，该算法能够不断强化学习，并对反馈结果比较分析，不断完善缺陷，是应用比较广泛的一种算法，该算法属于监督学习的一种类型，Q-学习算法是由Watkins在1989年提出的一种无模型强化学习算法，Q-学习可以看作一种增量式动态算法，它通过直接优化一个可迭代计算的动作值函数Q(s,α)来找到一个策略使得期望报酬总和最大，而非TD算法中的状态值V(s)，这样，Agent在每一次的迭代中都需要考察每一个行为，可确保学习过程收敛。其具体算法如下：

给定义一个策略π，定义报酬值Q值为式(3)

Q^π(x,a)＝E{r|x,a}+γ∑P_x[π(x)]maxQ^π(y,b) (3)

上式中，Q^π(x,a)为报酬值，x为当前状态，a为当前Agent的动作，E{r|x,a}为在当前状态x和当前动作a下，强化信号r的期望值，γ为一个固定的系数值，其大小由用户设定，P_x[π(x)]为当前x使报酬值Q^π(x,a)为最大时的概率估计值，maxQ^π(y,b)为下一状态的最大报酬估计值，y为下一状态，b为Agent下一个动作。

Q-学习的目的是在转移概率和所获得报酬未知的情况下来估计最优策略的Q值。为了方便起见，定义其中π表示最优策略。

Q值的更新的规则为式(4)

Q_k(y,b)←(1-a_k)Q_k-1(x,a)+a_k[r_k-1+γmax{Q_k(y,b)}] (4)

上式中，a_k为学习因子，代表由旧状态转移到新状态的概率值，Q_k-1(x,a)是当前的报酬值，Q_k(y,b)为下一时刻的报酬值，r_k-1为当前的强化信号，γ为一个固定的系数值，其大小由用户设定，max{Q_k(y,b)}为下一状态的最大报酬估计值，y为下一状态，b为Agent下一个动作。得到最优的Q^*值，即可得到最优策略为π^*＝argmaxaQ^*(x,a)，即可以逆推出使得报酬Q值最大的x值。

Claims (6)

1.一种基于复合拦截策略的无人机防控智能决策方法，其特征在于，包括如下步骤：

1）当全向阵列天线被动截获、接收到无人机及操作者发射的遥控和图像传输射频信号时，无人机频谱探测系统根据这些信号解算出无人机速度、方向的定位信息；

2）将步骤1）得到的无人机定位信息或者用户自定义的场景作为输入，传输至机器逻辑控制系统，控制系统通过数学模型建立无人机定位信息/用户自定义场景为输入到无人机拦截方案为输出之间的联系，控制系统根据输入信息和传输函数计算得到输出结果，决策使用何种拦截方案对黑飞无人机进行拦截；

3）根据步骤2）决策的拦截方案，复合拦截系统将几种基础拦截手段有效的结合，实现对黑飞无人机的拦截和防控；

4）完成步骤3）后，将无人机的拦截信息反馈至机器强化学习系统中，通过机器强化学习系统不断的优化机器逻辑控制系统的数学算法模型，并且改进和完善机器逻辑控制系统的决策。

2.根据权利要求1所述的一种基于复合拦截策略的无人机防控智能决策方法，其特征在于，步骤1）的具体方法为：无人机频谱探测系统根据阵列天线接收到的信号计算出无人机的定位信息，无人机频谱探测系统由阵列天线、信号处理机和定位服务器组成，通过阵列天线被动截获和接收无人机发射的遥控和图像传输射频信号，阵列天线采用N个相同的宽带天线，每个天线的安装指向不同，形成覆盖30 * N度的天线阵列，选取相邻两个天线，将截获到的两组区域信号输入信号处理机，信号处理机对信号进行处理，若确认信号为无人机发出，则对比两路通道的信号信息，通过定位服务器计算得到无人机方向、速度的定位信息。

3.根据权利要求2所述的一种基于复合拦截策略的无人机防控智能决策方法，其特征在于，所述的N≥2。

4.根据权利要求1所述的一种基于复合拦截策略的无人机防控智能决策方法，其特征在于，步骤2）的具体方法为：机器逻辑控制系统的是根据输入的无人机定位信息，输出一个与之对应的无人机拦截方案，机器逻辑控制系统中采用模糊逻辑控制模型，模糊逻辑控制模型可以表示为A（R，X，Y，M），A表示一个模糊模型，即描述系统特性的一组模糊条件语句；R表示模糊算法，X表示输入变量值，Y表示输出变量值，M表示所有基本模糊子集的集合，分别确定输入变量值X，确定输出变量值Y，确定模糊算法R，再对输入和输出变量的值进行量化处理，建立好数学模型，通过对从无人机频谱探测系统输入的无人机信息的变量值X进行计算处理，输出对应的无人机拦截方案的量化值Y。

5.根据权利要求1所述的一种基于复合拦截策略的无人机防控智能决策方法，其特征在于，步骤3）的具体方法为：复合拦截系统以四种拦截手段为基础，通过多种基础拦截手段的合理组合运用，实现无人机的复合拦截方案；所述的四种拦截手段分别为无线电压制、卫星导航信号诱导、激光武器和网式拦截；其中激光武器和网式拦截为物理拦截手段，分别利用发射的高能量激光打击拦截无人机或者通过弹射装置发射开花弹，利用此弹在空中散开的效果进行布网，直接拿下黑飞无人机；无线电压制和卫星导航信号诱导的原理是通过无线通信信号使得无人机的遥控器失效，卫星导航信号诱导还对无人机进行控制，达到回收利用的目的。

6.根据权利要求1所述的一种基于复合拦截策略的无人机防控智能决策方法，其特征在于，步骤4）的具体方法为：机器强化学习系统是根据得到的无人机拦截信息，计算本次无人机拦截方案的报酬值，寻找最优策略使下次无人机拦截方案的报酬值变大，机器学习将学习看作试探过程，在强化学习中，Agent选择一个动作α作用于环境，环境接收该动作后发生变化，同时产生一个强化信号r（奖或罚）反馈给Agent，Agent再根据强化信号和环境的当前状态s再选择下一个动作，选择的原则是使受到正的报酬值的概率增大，选择的动作将会影响下一时刻的状态及最终报酬值，寻找最优策略，使得Agent在运行中获得的累积报酬值最大。