CN113625753B - 一种由专家规则引导神经网络学习无人机机动飞行的方法 - Google Patents

Abstract

本申请涉及机器学习技术领域，具体涉及一种由专家规则引导神经网络学习无人机机动飞行的方法。该方法包括：步骤S1、采用模糊逻辑作为规则的表示方式将专家规则进行隶属度函数表示；步骤S2、基于满足规则的度输出无人机的次优动作决策；步骤S3、通过深度强化学习算法的一个全连接层学习对所述次优动作决策的修改，获得修改后的动作决策，最后输出的动作决策由次优动作决策和修改后的动作决策加权得到；步骤S4、以最后输出的动作决策进行神经网络算法的训练，获得收敛后的神经网络。本申请能够有效应用人类专家关于机动飞行的少量知识，使神经网络学会特定机动飞行。

Description

一种由专家规则引导神经网络学习无人机机动飞行的方法

技术领域

本申请涉及机器学习技术领域，具体涉及一种由专家规则引导神经网络学习无人机机动飞行的方法。

背景技术

近年来，随着机器学习在无人机智能控制上的应用进展，一般认为，无人机机动飞行的控制策略，可以由神经网络构成的深度强化学习算法，通过不断尝试与环境交互来学到。

但是受限于用于无人机智能控制的神经网络初始化时，其参数均为随机产生，因此需要很长时间才能学会基本的飞行机动轨迹。如果能够使用人类专家的飞机操纵专家知识规则来引导神经网络避免低效的环境探索，将有望大幅提升神经网络学会无人机机动飞行控制的效率。

发明内容

为了解决上述问题，本发明提出一种由专家规则引导神经网络学习无人机机动飞行的方法，能够使用少量专家飞行知识规则，与现有基于神经网络的强化学习模型有机融合，按照强化学习算法的策略优化方式优化策略，等价于对规则的调整和学习，从而引导神经网络快速学会无人机机动飞行。在提升了无人机机动飞行技能学习效率的同时，也可对规则持续优化，同时也达到了提高神经网络操纵无人机机动飞行可解释性的目的。

本申请由专家规则引导神经网络学习无人机机动飞行的方法，主要包括：

步骤S1、采用模糊逻辑作为规则的表示方式将专家规则进行隶属度函数表示，其中，给定某一元素x，其隶属于集合A的隶属度定义为：μ_A(x):X→[0,1]，A和B是两个模糊集合，那么这两个集合的并集和交集的隶属度函数分别为：

μ_A∪B(x)＝max{μ_A(x),μ_B(x)}

μ_A∩B(x)＝min{μ_A(x),μ_B(x)}；

步骤S2、基于满足规则的度作出决策z：

其中，

为模糊集合C的隶属度函数的逆函数，一个无人机动作决策由多个专家规则构成，将某专家规则下的各模糊集合的权重作为第一类优化参数，将各专家规则的权重作为第二类优化参数，形成计算决策的专家规则网络，输出无人机的次优动作决策；

步骤S3、通过深度强化学习算法的一个全连接层学习对所述次优动作决策的修改，获得修改后的动作决策，最后输出的动作决策由次优动作决策和修改后的动作决策加权得到；

步骤S4、以最后输出的动作决策进行神经网络算法的训练，获得收敛后的神经网络。

优选的是，步骤S2中，采用随机梯度下降优化第一类优化参数及第二类优化参数。

优选的是，步骤S3中，所述仿真训练环境包括：

在训练的开始阶段，无人机飞行知识规则输出的动作占比重大，即所述次优动作决策的权重初始值较大。

优选的是，步骤S4中，所述神经网络采以GAE计算方式计算优势函数。

本申请另一方面提供了一种电子设备，所述电子设备包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的由专家规则引导神经网络学习无人机机动飞行的方法。

本申请另一方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的由专家规则引导神经网络学习无人机机动飞行的方法。

本申请能够有效应用人类专家关于机动飞行的少量知识，使神经网络学会特定机动飞行。

附图说明

图1是本申请由专家规则引导神经网络学习无人机机动飞行的方法的基于规则的网络表征示意图。

图2是本申请知识规则与强化学习融合的网络示意图。

图3是本申请的电子设备的优选实施例示意图。

具体实施方式

为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施方式是本申请一部分实施方式，而不是全部的实施方式。下面通过参考附图描述的实施方式是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。下面结合附图对本申请的实施方式进行详细说明。

本申请第一方面提供了一种由专家规则引导神经网络学习无人机机动飞行的方法，主要包括：

步骤S1、采用模糊逻辑作为规则的表示方式将专家规则进行隶属度函数表示，其中，给定某一元素x，其隶属于集合A的隶属度定义为：μ_A(x)：X→[0，1]，A和B是两个模糊集合，那么这两个集合的并集和交集的隶属度函数分别为：

μ_A∪B(x)＝max{μ_A(x)，μ_B(x)}

μ_A∩B(x)＝min{μ_A(x)，μ_B(x)}；

步骤S2、基于满足规则的度作出决策z：

其中，

为模糊集合C的隶属度函数的逆函数，一个无人机动作决策由多个专家规则构成，将某专家规则下的各模糊集合的权重作为第一类优化参数，将各专家规则的权重作为第二类优化参数，形成计算决策的专家规则网络，输出无人机的次优动作决策；

步骤S3、通过深度强化学习算法的一个全连接层学习对所述次优动作决策的修改，获得修改后的动作决策，最后输出的动作决策由次优动作决策和修改后的动作决策加权得到；

步骤S4、以最后输出的动作决策进行神经网络算法的训练，获得收敛后的神经网络。以下详细说明。

首先对人类专家操纵无人机飞行的知识规则进行网络化表征。我们提出采用模糊逻辑作为规则的表示方式。给定某一元素x，其隶属于集合A的隶属度定义为：μ_A(x)：X→[0，1]。假设A和B是两个模糊集合，那么这两个集合的并集和交集的隶属度函数分别为：

μ_A∪B(x)＝max{μ_A(x)，μ_B(x)}

μ_A∩B(x)＝min{μ_A(x)，μ_B(x)}

给定一条规则如“if X is A and Y is B then Z is C”，假设x₀，y₀分别为X和Y的观测值。那么该规则的先决条件的满足程度可以用下式计算：

w＝min(μ_A(x₀)，μ_B(y₀))

最后基于满足规则的度做出决策：

其中

为模糊集合C的隶属度函数的逆函数(这里假设C的隶属度函数为单调函数)。

隶属度函数一般是简单的由经验确定的函数，模糊控制的精度通常不能达到很高的水平。为此我们接下来将模糊规则嵌入到神经网络中，并通过强化学习的方式，调整网络中的少量参数，达到优化隶属度函数的目的。其结构如下图1所示。

图1中，无人机动作决策a由三条专家规则rule1-rule3形成，每一个规则具有一个权重，即rule1-rule3中每一个决策ai前端的第二类优化参数，每条专家规则有四个模糊集合取交集，即rule1-rule3中MIN前面的四个第一类优化参数。

图中每一个规则模块的计算流程如下：

每个无人机飞行知识规则最终做出的决策可能不同，最终动作决策有多种方式，使用如下方法，即：

整个计算图为端对端可导，可直接使用随机梯度下降优化网络参数。

最后，将网络表征化的规则知识与深度强化学习算法结合。规则知识可以看作是一个次优策略，基于该次优策略可辅助加速习得最优策略。为此，提出如图2所示的结构：

其中上侧左右流向的方块为全连接层，其权重w由竖向流向的方块所表示的全连接层生成。本申请期望红色模块能够学习到在相应的状态下，如何对无人机飞行知识规则输出的次优动作做出修改。为了在前期有效利用规则知识，最后输出的动作由规则动作和修改后的动作加权得到。即：

a＝W_ra_r+w_fa_f

在训练的开始阶段，无人机飞行知识规则输出的动作所占比重大，以此保证初始策略与规则策略差距较小。随着训练的进行，逐渐减小规则动作所占权重。

无人机飞行知识规则控制器部分则由图1所述结构构成，其中也包含可训练参数。整个模型可以看作一个完整的策略网络π_θ(a|s)，可以直接使用深度强化学习算法进行训练。基于下述算法的策略训练如下：

(1)采样：依照当前策略π_θ(a|s)，在环境中采样出一条长度为T轨迹。

(2)计算长期累积收益

(3)计算优势函数估计

(这里以GAE计算方式为例)：

δ_t＝r_t+γV_φ(S_t+1)-V_φ(S_t)

(4)更新策略π_θ(a|s)：

(5)更新V_φ：

重复(1)-(5)直至收敛。

采用本方法训练神经网络学到了无人机的两种机动轨迹，分别是定常转弯和虚拟目标跟踪，从实施结果可以看到，本方法能够有效应用人类专家关于机动飞行的少量知识，使神经网络学会特定机动飞行。

本申请还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的由专家规则引导神经网络学习无人机机动飞行的方法。

本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的由专家规则引导神经网络学习无人机机动飞行的方法。

图3是能够实现根据本申请一个实施例提供的电子设备示例性结构图。如图3所示，电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505以及输出设备506。其中，输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线507连接，进而与电子设备的其他组件连接。具体地，输入设备504接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到电子设备的外部供用户使用。

也就是说，图3所示的电子设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器在执行计算机可执行指令时可以实现结合图1描述的无人机自主寻径模型训练方法。

在一个实施例中，图3所示的电子设备可以被实现为包括：存储器504，被配置为存储可执行程序代码；一个或多个处理器503，被配置为运行存储器504中存储的可执行程序代码，以执行上述实施例中的由专家规则引导神经网络学习无人机机动飞行的方法。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数据多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。第一、第二等词语用来标识名称，而不标识任何特定的顺序。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本实施例中所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。本申请虽然以较佳实施例公开如上，但其实并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此，本申请的保护范围应当以本申请权利要求所界定的范围为准。

虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (6)

1.一种由专家规则引导神经网络学习无人机机动飞行的方法，其特征在于，包括：

步骤S1、采用模糊逻辑作为规则的表示方式将专家规则进行隶属度函数表示，其中，给定某一元素x，其隶属于集合A的隶属度定义为：μ_A(x):X→[0,1]，A和B是两个模糊集合，那么这两个集合的并集和交集的隶属度函数分别为：

μ_A∪B(x)＝max{μ_A(x),μ_B(x)}

μ_A∩B(x)＝min{μ_A(x),μ_B(x)}；

步骤S2、基于满足规则的隶属度作出决策z：

其中，

为模糊集合C的隶属度函数的逆函数，一个无人机动作决策由多个专家规则构成，将某专家规则下的各模糊集合的权重作为第一类优化参数，将各专家规则的权重作为第二类优化参数，形成计算决策的专家规则网络，输出无人机的次优动作决策；

步骤S3、通过深度强化学习算法的一个全连接层学习对所述次优动作决策的修改，获得修改后的动作决策，最后输出的动作决策由次优动作决策和修改后的动作决策加权得到；

步骤S4、以最后输出的动作决策进行神经网络算法的训练，获得收敛后的神经网络；

其中，无人机动作决策a由三条专家规则rule1-rule3形成，每一条专家规则具有一个权重

该权重即为rule1-rule3中每一个决策a_i输出前对参数/>

的第二类优化参数，每条专家规则通过四个模糊集合取交集，该四个模糊集合/>

的权重/>

即四个第一类优化参数；

每一条专家规则的决策a_i的计算流程如下：

每个无人机飞行知识规则最终做出的决策a使用如下方法计算，即：

2.如权利要求1所述的由专家规则引导神经网络学习无人机机动飞行的方法，其特征在于，步骤S2中，采用随机梯度下降优化第一类优化参数及第二类优化参数。

3.如权利要求1所述的由专家规则引导神经网络学习无人机机动飞行的方法，其特征在于，步骤S3中，仿真训练环境包括：

在训练的开始阶段，无人机飞行知识规则输出的动作占比重大，即所述次优动作决策的权重初始值较大。

4.如权利要求1所述的由专家规则引导神经网络学习无人机机动飞行的方法，其特征在于，步骤S4中，所述神经网络采用GAE计算方式计算优势函数。

5.一种电子设备，其特征在于，所述电子设备包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如权利要求1-4任一项所述的由专家规则引导神经网络学习无人机机动飞行的方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如权利要求1-4任一项所述的由专家规则引导神经网络学习无人机机动飞行的方法。

Images