CN110596734A - 一种基于多模态q学习的无人机定位干扰源系统及方法 - Google Patents

Abstract

一种基于多模态Q学习的无人机定位干扰源系统及方法，提出了一种基于模式识别和Q学习相结合的多模态Q学习干扰源查找定位算法，该算法包括两大核心功能单元：多模态识别单元及Q学习单元，通过多模态识别单元对无人机搭载的电扫描天线检测所得数据进行分析，确定当前环境模态，从而实时调整Q学习算法参数以及无人机飞行步长，实现对检测距离、定位精度、定位时间的优化。本发明将模式识别思想与传统Q学习方法相结合，实现学习算法能够随环境变化动态可调，从而能够在环境噪声未知，干扰源信息未知的情况下实现对干扰源的远距离、快速、高精度定位。

Description

一种基于多模态Q学习的无人机定位干扰源系统及方法

技术领域

本发明属于机器学习和频谱监测技术领域，具体涉及一种基于多模态Q学习的无人机定位干扰源系统及方法。

背景技术

近年来，随着无线通信技术日益发展，干扰源对许多领域也产生了日趋严峻的影响，如干扰航空铁路通信，干扰广播信号，干扰重大赛事活动，严重危害社会安全，造成重大财产损失。然而，传统地面检测定位由于易受多径效应影响，定位精度低，速度慢。卫星定位则存在成本高，定位方式复杂且无法实现全天候定位的问题。而无人机平台则有成本低，灵活性强，具有一定载荷能力且飞行范围在低空的特性，可以降低多径效应影响。

对于定位干扰源问题，在现实检测定位中，无人机所处环境复杂多变，例如噪声随机不固定，且干扰源发射信号功率随距离衰减。因此，一个关键的技术挑战是，如何让定位算法具有环境适应能力，且能够在对干扰源信息位置的情况下实现高精度，远距离，低耗时的干扰源定位。

然而，现有大部分基于无人机平台的干扰源定位算法需要借助额外地面辅助设备或者需要提前了解环境、干扰源情况，而在现实定位检测中通常无法满足，而已有的无模型算法则多以天线接收功率作为无人机状态划分条件，在检测值超出预定值时，算法无法正常工作。同时，如果仅使用单一算法，对于复杂多变的环境，算法难以适应环境变化，易导致定位效率低下。因此，设计一种能够自适应环境，且高效、实际应用范围广的无人机定位干扰源方法就很有必要。

发明内容

本发明针对现有技术中的不足，提供一种基于多模态Q学习的无人机定位干扰源系统及方法。

为实现上述目的，本发明采用以下技术方案：

一种基于多模态Q学习的无人机定位干扰源系统，其特征在于，包括：数据检测器、数据处理器、无人机平台和地面终端；所述数据检测器和数据处理器搭载在无人机平台上，数据检测器实时检测、获取环境数据，数据处理器根据数据检测器所得结果对环境数据进行处理分析，决定无人机的飞行方向和飞行步长，以及判断是否找到干扰源；所述无人机平台根据数据处理器给出的指令，执行飞行动作；所述地面终端接收实时检测数据、处理分析数据及无人机位置信息。

为优化上述技术方案，采取的具体措施还包括：

进一步地，所述数据检测器包括GPS模块和电扫描天线。

进一步地，所述数据处理器包括多模态识别单元和Q学习单元，多模态识别单元包括对环境数据的感知以及基于模式识别思想的模态识别，Q学习单元根据多模态识别单元识别出的当前模态实现对Q学习算法的动态调整，确定无人机的飞行方向和飞行步长，并根据停止条件判断是否找到干扰源。

进一步地，所述多模态识别单元包括数据感知模块和模态识别模块，所述数据感知模块获取环境数据，对环境数据进行感知分析，所述模态识别模块通过模式识别的方法对感知的环境数据进行模态划分，划分方式如下：

f(d)＝{d→E}|{d＝D(d₁，d₂，d₃…d_n)，E＝{E₁，E₂，E₃…E_n}}

其中，d＝D(d₁，d₂，d₃…d_n)为无人机在当前状态下感知分析到的数据，{E₁，E₂，E₃…E_n}为事先确定的模态，无人机当前具体模态E由模态识别函数f(d)确定是否达到某模态E_k的标准。

进一步地，所述Q学习单元包括回报函数模块、Q表更新模块和行为模块，所述回报函数模块采集用于模态识别判断的数据并根据当前所在模态及其对应的回报函数对数据进行处理，将处理后的数据作为Q学习回报值，回报函数动态可调，对于状态s与动作a，回报值r(s，a)表示为：

r(s，a)＝R_Ei(a)

其中，R_Ei(a)是根据当前环境调整即时回报函数所得出的回报值；

所述Q表更新模块根据当前模态、状态及Q函数对Q表进行更新，Q函数为：

Q_E(s，：)←Q_E(s，：)+α_E[r_E(s，：)+γmax(Q_E(s′，：))-Q_E(s，：)]

其中，r_E(s，：)是可调的回报函数所得回报值，α_E为随模态改变动态调整的学习速率，γ是损失值常数，Q_E(s，：)为Q值，下标E表示当前模态，：代表整行，Q_E(s′，：)为上一状态Q值，其更新范围随模态改变而调整，表示为U_Ei；Q表更新模块还根据当前模态调整无人机步长；

Q表更新模块在更新完成后，选择更新范围内最大Q值对应动作a*作为飞行方向：

在动作确定后，行为模块根据模态调整确定无人机行为，表示为：

m＝M_Ei(a^*)

其中，M_Ei(a^*)为行为函数，根据飞行步长和飞行方向，确定无人机下一状态时的位置；

当电扫描天线垂直扫描最大值对应角度v到达停止角度时，所述行为模块认为无人机找到干扰源，结束当前定位流程，将定位结果传输至地面终端。

此外，本发明还提出了一种采用如上所述的基于多模态Q学习的无人机定位干扰源系统的定位方法，其特征在于，包括如下步骤：

1)根据无人机所在环境确定n个模态{E₁，E₂，E₃…E_n}及转换条件

f(d)＝{d→E}|{d＝D(d₁，d₂，d₃…d_n)，E＝{E₁，E₂，E₃…E_n}}

迭代次数i初始化为1；

2)收集环境数据d，判断该数据是否符合模态转换条件，即当前模态是否需要转换；如果需要转换为模态E_k，则改变学习速率调整Q表更新范围调整无人机步长为

3)根据当前模态Q学习算法Q_E(s，：)←Q_E(s，：)+α_E[r_E(s，：)+γmax(Q_E(s′，：))-Q_E(s，：)]对Q表进行更新，并根据选择飞行动作，根据行为函数确定无人机位置，并将当前状态s调整为a*，同时迭代次数i＝i+1；

4)无人机进行飞行，更新无人机当前位置为：

x_i＝x_i-1+l_i*sinθ

y_i＝y_i-1+l_i*cosθ

其中，x_i、y_i为无人机更新后横纵坐标，l_i为步长，θ为选择动作对应的水平方向角；

5)最后，获得此时的最大垂直方向角v，根据无人机飞行高度确定停止角度当v到达时，则认为无人机找到干扰源，结束当前定位流程，回传位置信息，未找到则重复上述过程。

本发明的有益效果是：利用无人机平台搭载数据检测器和数据处理器，实现了一种不需要地面检测设备或先验信息的干扰源定位系统及方法。同时，数据通过该方法中的改进的多模态Q学习算法实现了在无人机定位干扰源问题中定位算法可以根据环境自主调整，从而实现了将不同学习策略优点结合，使得无人机在干扰源情况未知，噪声大小未知的情况下，实现远距离，高精度，短时间的干扰源定位。

附图说明

图1是基于多模态Q学习的无人机定位干扰源系统模型图。

图2是多模态Q学习框架示意图。

图3是基于多模态Q学习的无人机定位干扰源方法流程图。

图4是基于多模态Q学习的无人机定位干扰源定位仪器的结构示意图。

图5是基于无人机平台和电扫描天线的数据采集装置示意图。

图6是数据采集装置的数据采集范围示意图，其中6a表示水平角，6b表示竖直角。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

一、本发明提出了多模态Q学习的概念及框架：

多模态Q学习主要包括两个功能单元：多模态识别单元以及Q学习单元，具体如下：

多模态识别单元：分为数据感知模块与模态识别模块，首先数据感知模块获取环境数据，对数据进行感知分析，接着，在模态识别模块中，通过模式识别的方法对感知的数据进行模态划分。划分方法可表示为：

f(d)＝{d→E}|{d＝D(d₁，d₂，d₃…d_n)，E＝{E₁，E₂，E₃…E_n}}

其中，d＝D(d₁，d₂，d₃…d_n)为智能体在当前状态下感知分析到的数据，{E₁，E₂，E₃…E_n}为事先确定的模态，而智能体当前具体模态E则由模态识别函数f(d)确定是否达到某模态E_k的标准。

Q学习单元：当智能体当前模态(需要转化的模态)确定后，Q学习算法将根据当前所在模态动态调整其学习参数。首先回报函数动态可调，对于在状态s(上次选择的方向)与动作a(这次的方向)，回报值r(s，a)可以表示为：

其中，是根据当前环境调整即时回报函数得出的回报值。

同时，Q表更新函数为：

Q_E(s，：)←Q_E(s，：)+α_E[r_E(s，：)+γmax(Q_E(s′，：))-Q_E(s，：)]

其中，r_E(s，：)就是可调的回报函数所得回报值，α_E为随模态改变动态调整的学习速率，γ是损失值常数，Q_E(s，：)为Q值，其更新范围也可以随模态改变而调整，可表示为

最终选择动作即选择当前状态s下，Q表对应行中最大Q值对应动作a*：

在动作确定后，智能体行为也可以根据模态调整，可表示为：

其中，即为行为函数，确定了无人机下一状态时的位置。

二、本发明提出了基于多模态Q学习的无人机定位干扰源的系统及方法：

基于多模态Q学习的无人机定位干扰源的定位仪器基于无人机平台，包括：

基于无人机平台的数据检测器：包含GPS模块，电扫描天线等，用于检测、获取环境数据；

基于无人机平台的数据处理器：根据检测器所得结果对数据进行处理分析，决定无人机飞行方向，飞行步长等。

无人机平台：根据数据处理器给出指令，执行飞行动作。

地面终端：接收实时检测数据、算法分析数据及无人机位置信息等。

根据所提出的多模态Q学习算法对干扰源进行定位：

在基于多模态Q学习的无人机定位干扰源中，在每个状态下，通过无人机搭载数据检测器，如电扫描天线等获取环境数据如天线接收信号功率。

将环境数据进行处理，根据模式识别思想进行模态识别，确定当前所在模态E_k，如果模态改变，则调整回报函数为Q表更新范围为Q学习学习速率为步长为

更新Q表，并选择更新范围内最大Q值对应的动作作为最佳动作。

根据步长及动作确定无人机行为，即无人机移动到下一状态所在位置。

根据无人机飞行高度确定停止角度当电扫描天线垂直扫描最大值对应角度v到达时，则认为无人机找到干扰源，结束当前定位流程，将定位结果传输至地面终端。

三、本发明提供了一种基于无人机平台和电扫描天线的数据采集装置：

通过在无人机平台上搭载电扫描天线，从空中接收各方向信号，获得接受信号功率，实现一种立体的空中数据采集和检测。

电扫描天线可以获得至少水平角[0，2π]，竖直角的功率数据，具体可根据不同天线数据调整。

采集数据时，无人机本身姿态不需调整，以提高采集数据效率及准确率。

图1是基于多模态Q学习的无人机定位干扰源系统模型图，即考虑地面存在干扰源，且在干扰源情况未知、噪声情况未知的情况下，使用无人机平台搭载检测设备进行干扰源定位的场景。

图2是多模态Q学习框架示意图，包括：

1、多模态识别单元：包括对环境实时数据的感知以及基于模式识别思想的模态识别。多模态识别单元可以划分为两个模块：

数据感知模块：对环境实时数据进行采集，并保存记录数据，将其传入下一模块；

模态识别模块：对上一模块数据进行分析归纳，根据模态{E₁，E₂，...，E_n}及其转换条件确定当前模态。

2、Q学习单元：根据多模态识别单元识别出的当前模态实现对Q学习算法的动态调整，如调整回报函数、Q表更新方法及行为的动态调整。Q学习单元可大致划分为三个模块：

回报函数模块：该模块采集所需数据并根据当前所在模态及其对应函数对数据进行处理，将处理后的数据作为Q学习回报值。

Q表更新模块：根据当前模态、状态及Q函数对Q表进行更新。其中，多模态Q学习算法Q函数Q_E(s，：)←Q_E(s，：)+α_E[r_E(s，：)+γmax(Q_E(s′，：))-Q_E(s，：)]的学习参数及Q表更新范围动态可调。同时，Q表更新模块在更新完成后，选择更新范围内最大Q值对应行动作为选择的行动，此外，更新智能体状态，迭代次数i＝i+1。

行为模块：该模块负责确定行动后智能体的进一步行为，包括步长等，并更新位置。

接下来，本发明将通过以下实施例来阐述所提出的基于多模态Q学习的无人机定位干扰源方法，定位流程图如图3所示。

实施例背景为地面存在干扰源，但是对于定位设备(无人机)干扰源传输功率、环境噪声等信息未知的无人机定位干扰源任务。

为了方便描述，假设干扰源所处地点为三位平面上某点B(x_B，y_B，0)，其发射信号功率为P_T实际未知。设无人机初始位置在点A(x_A，y_A，h)，飞行高度固定为h。定位前根据环境确定n个模态{E₁，E₂，...，E_n}及转换条件f(d)＝{d→E}|{d＝D(d₁，d₂，…d_n)，E＝{E₁，E₂，…E_n}}。迭代次数i初始化为1。同时，Q学习状态集合S，行动集合A定义为无人机飞行方向，而无人机状态s为无人机上一次所选择方向，动作a则为本次所选择飞行方向。

在定位过程中，首先，通过机载数据检测器收集环境数据d，在本实施例中，机载数据检测器包含所提出的基于无人机平台和电扫描天线的数据采集装置，通过采集接收信号强度PR进行模态识别判断。接着判断该数据是否符合模态转换条件，即当前模态是否需要转换。如果需要转换为模态E_k，则调整回报函数。在本实施例中，回报值数据来源所提出的基于无人机平台和电扫描天线的数据采集装置，回报函数为：

其中，N_E为装置采集次数，可随模态动态调整。D_i(S，θ_a)为采集的实时数据，具体解释为当前动作对应水平角中竖直方向最大接收功率值。

改变学习速率调整Q表更新范围调整无人机步长为此外，所调整参数包括但不限于上述参数，可以根据实际定位情况按实际决定所调整参数。

其次，根据当前模态Q学习算法Q_E(s，：)←Q_E(s，：)+α_E[r_E(s，：)+γmax(Q_E(s′，：))-Q_E(s，：)]对Q表进行更新。并根据选择飞行动作(方向)，根据行为函数确定无人机下一状态所在位置，并将当前状态s调整为a*，同时迭代次数i＝i+1。

进而，进行飞行，更新无人机当前位置为：

x_i＝x_i-1+l_i*sinθ

y_i＝y_i-1+l_i*cosθ

最后，根据停止条件判断是否找到干扰源，若找到，则回传位置信息，停止检测过程，未找到则重复上述过程。在本实施例中，通过获得当前最大接收信号功率所对应电扫描天线的垂直方向角v，通过无人机飞行高度确定停止垂直方向角若满足则认为找到干扰源并回传位置信息。

基于多模态Q学习的无人机定位干扰源算法如下表所示：

表1：基于多模态Q学习的无人机定位干扰源算法

图4是基于多模态Q学习的无人机定位干扰源定位仪器的结构示意图，包括：

基于无人机平台的数据检测器4011：用于检测、获取环境数据。

基于无人机平台的数据处理器4012：根据数据检测器所得结果对数据进行处理分析，具体为：

用于根据获得数据以及所提出的基于多模态Q学习的无人机定位干扰源方法中的模态识别方法确定当前模态；

通过当前模态确定回报函数，Q函数及行为函数，并更新Q表，选择动作，确定步长；

根据获得数据及基于多模态Q学习的无人机定位干扰源方法中停止条件判断是否找到干扰源。

无人机平台401：根据数据处理器给出指令，执行飞行动作。

地面终端402：接收实时检测数据、算法分析数据及无人机位置信息等。

图5是基于无人机平台和电扫描天线的数据采集装置，图6为其数据采集范围示意图，数据采集装置包括：

无人机平台501：用于搭载电扫描天线及实现空中数据采集检测。

电扫描天线502：检测u个方向水平角θ∈{θ₁，θ₂，θ₃，…θ_u}及v个方向竖直对应接收信号功率

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (6)

1.一种基于多模态Q学习的无人机定位干扰源系统，其特征在于，包括：数据检测器、数据处理器、无人机平台和地面终端；所述数据检测器和数据处理器搭载在无人机平台上，数据检测器实时检测、获取环境数据，数据处理器根据数据检测器所得结果对环境数据进行处理分析，决定无人机的飞行方向和飞行步长，以及判断是否找到干扰源；所述无人机平台根据数据处理器给出的指令，执行飞行动作；所述地面终端接收实时检测数据、处理分析数据及无人机位置信息。

2.如权利要求1所述的一种基于多模态Q学习的无人机定位干扰源系统，其特征在于：所述数据检测器包括GPS模块和电扫描天线。

3.如权利要求2所述的一种基于多模态Q学习的无人机定位干扰源系统，其特征在于：所述数据处理器包括多模态识别单元和Q学习单元，多模态识别单元包括对环境数据的感知以及基于模式识别思想的模态识别，Q学习单元根据多模态识别单元识别出的当前模态实现对Q学习算法的动态调整，确定无人机的飞行方向和飞行步长，并根据停止条件判断是否找到干扰源。

4.如权利要求3所述的一种基于多模态Q学习的无人机定位干扰源系统，其特征在于：所述多模态识别单元包括数据感知模块和模态识别模块，所述数据感知模块获取环境数据，对环境数据进行感知分析，所述模态识别模块通过模式识别的方法对感知的环境数据进行模态划分，划分方式如下：

f(d)＝{d→E}|{d＝D(d₁,d₂,d₃…d_n),E＝{E₁,E₂,E₃…E_n}}

其中，d＝D(d₁,d₂,d₃…d_n)为无人机在当前状态下感知分析到的数据，{E₁,E₂,E₃…E_n}为事先确定的模态，无人机当前具体模态E由模态识别函数f(d)确定是否达到某模态E_k的标准。

5.如权利要求4所述的一种基于多模态Q学习的无人机定位干扰源系统，其特征在于：所述Q学习单元包括回报函数模块、Q表更新模块和行为模块，所述回报函数模块采集用于模态识别判断的数据并根据当前所在模态及其对应的回报函数对数据进行处理，将处理后的数据作为Q学习回报值，回报函数动态可调，对于状态s与动作a，回报值r(s,a)表示为：

r(s,a)＝R_Ei(a)

其中，R_Ei(a)是根据当前环境调整即时回报函数所得出的回报值；

所述Q表更新模块根据当前模态、状态及Q函数对Q表进行更新，Q函数为：

Q_E(s,:)←Q_E(s,:)+α_E[r_E(s,:)+γmax(Q_E(s',:))-Q_E(s,:)]

其中，r_E(s,:)是可调的回报函数所得回报值，α_E为随模态改变动态调整的学习速率，γ是损失值常数，Q_E(s,:)为Q值，下标E表示当前模态，：代表整行，Q_E(s',:)为上一状态Q值，其更新范围随模态改变而调整，表示为U_Ei；Q表更新模块还根据当前模态调整无人机步长；

Q表更新模块在更新完成后，选择更新范围内最大Q值对应动作a*作为飞行方向：

在动作确定后，行为模块根据模态调整确定无人机行为，表示为：

m＝M_Ei(a^*)

其中，M_Ei(a^*)为行为函数，根据飞行步长和飞行方向，确定无人机下一状态时的位置；

当电扫描天线垂直扫描最大值对应角度v到达停止角度时，所述行为模块认为无人机找到干扰源，结束当前定位流程，将定位结果传输至地面终端。

6.一种采用如权利要求5所述的基于多模态Q学习的无人机定位干扰源系统的定位方法，其特征在于，包括如下步骤：

1)根据无人机所在环境确定n个模态{E₁,E₂,E₃…E_n}及转换条件

f(d)＝{d→E}|{d＝D(d₁,d₂,d₃…d_n),E＝{E₁,E₂,E₃…E_n}}

迭代次数i初始化为1；

2)收集环境数据d，判断该数据是否符合模态转换条件，即当前模态是否需要转换；如果需要转换为模态E_k，则改变学习速率α_E←α_Ek，调整Q表更新范围U_E←U_Ek，调整无人机步长为l_E←l_Ek；

3)根据当前模态Q学习算法Q_E(s,:)←Q_E(s,:)+α_E[r_E(s,:)+γmax(Q_E(s',:))-Q_E(s,:)]对Q表进行更新，并根据选择飞行动作，根据行为函数确定无人机位置，并将当前状态s调整为a*，同时迭代次数i＝i+1；

4)无人机进行飞行，更新无人机当前位置为：

x_i＝x_i-1+l_i*sinθ

y_i＝y_i-1+l_i*cosθ

其中，x_i、y_i为无人机更新后横纵坐标，l_i为步长，θ为选择动作对应的水平方向角；

5)最后，获得此时的最大垂直方向角v，根据无人机飞行高度确定停止角度当v到达时，则认为无人机找到干扰源，结束当前定位流程，回传位置信息，未找到则重复上述过程。